LỜI CẢM ƠN

Em xin chân thành cảm ơn các thầy, cô khoa Công nghệ thông
tin trường Đại học Thái Nguyên đã tạo điều kiện giúp đỡ và truyền đạt
cho em những kiến thức về chuyên ngành và những kiến thức xã hội.
Đặc biệt, em xin bày tỏ lòng biết ơn sâu sắc đến PGS.TS. Đoàn
Văn Ban - Viện Khoa học Công nghệ Việt Nam. Thầy đã trực tiếp
hướng dẫn và giúp đỡ em hoàn thành luận văn. Mặc dù, trong quá
trình làm luận văn em đã gặp nhiều khó khăn nhưng thầy luôn động
viên, chia sẻ, đó là nguồn động lực lớn giúp em vượt qua. Thầy chính
là tấm gương cho em trong công tác giảng dạy, nghiên cứu khoa học,
cũng như trong cuộc sống. Em xin cảm ơn thầy.
Em không quên sự động viên, khích lệ của gia đình, bạn bè và
những người thân đã giúp đỡ em vượt qua mọi khó khăn để em hoàn
thành khoá học.
Em xin chân thành cảm ơn!

Thái Nguyên, tháng 11 năm 2009

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

http://www.lrc-tnu.edu.vn

MỤC LỤC
MỞ ĐẦU ............................................................................................... 1
Chương 1. TÌM KIẾM MẪU TRONG VĂN BẢN THEO CÁCH
TIẾP CẬN OTOMAT MỜ .................................................................. 5
1.1. Tổng quan về tìm kiếm mẫu trên văn bản .................................... 5
1.1.1 Giới thiệu chung về vấn đề tìm kiếm văn bản ............................ 5
1.1.2. Các dạng tìm kiếm và các kết quả nghiên cứu .......................... 7
1.1.2.1. Tìm đơn mẫu ..................................................................... 7
1.1.2.2. Tìm đa mẫu ........................................................................ 8
1.1.2.3. Tìm mẫu mở rộng .............................................................. 9
1.1.2.4. Tìm kiếm xấp xỉ ............................................................... 10
1.1.2.4.1. Phát biểu bài toán ..................................................... 10
1.1.2.4.2. Các tiếp cận tìm kiếm xấp xỉ ..................................... 11
1.1.2.4.3. Độ tương tự giữa hai xâu .......................................... 12
1.1.3. Tìm kiếm trong văn bản nén và mã hoá .................................. 14
1.2. Hệ mờ ........................................................................................ 15
1.3. Ý tưởng chung của tiếp cận otomat mờ...................................... 15
1.4. Khái niệm otomat mờ ................................................................ 17
1.5. Một số thuật toán so mẫu ........................................................... 18
1.5.1. Thuật toán KMP ( Knuth- Morris- Pratt) ................................ 18
1.5.2. Thuật toán BM ( Boyer- Moor) ............................................... 22
1.6. Kết luận chương 1 ..................................................................... 26
Chương 2. BÀI TOÁN SO MẪU THEO CÁCH TIẾP CẬN
OTOMAT MỜ.................................................................................... 27
2.1. Bài toán so mẫu chính xác ......................................................... 27
2.1.1. Phát biểu bài toán ................................................................... 27
2.1.2. Độ mờ của mô hình ................................................................ 27
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

http://www.lrc-tnu.edu.vn

2.1.3. Thuật toán KMP mờ ............................................................... 28
2.1.3.1. Otomat so mẫu ................................................................. 28
2.1.3.2. Tính đúng đắn của thuật toán ........................................... 29
2.1.3.3. Thuật toán ........................................................................ 29
2.1.3.4. So sánh KM P và thuật toán KMP mờ ............................. 32
2.1.4. Thuật toán KMP - BM mờ ...................................................... 33
2.1.4.1. Ý tưởng của thuật toán ..................................................... 33
2.1.4.2. Otomat mờ so mẫu ........................................................... 35
2.1.4.3. Thuật toán 2.4 .................................................................. 37
2.2. Bài toán so mẫu xấp xỉ............................................................... 38
2.2.1. Đặt vấn đề............................................................................... 38
2.2.2. Bài toán .................................................................................. 39
2.2.3. Độ tương tự dựa trên độ dài khúc con chung của hai xâu ........ 40
2.2.3.1. Phát biểu bài toán............................................................. 40
2.2.3.2. Otomat so mẫu ................................................................. 42
2.2.4. Độ gần tựa ngữ nghĩa.............................................................. 43
2.2.4.1. Ý tưởng về độ gần ........................................................... 43
2.2.4.2. Thuật toán sơ bộ tính độ gần ............................................ 44
2.2.4.2.1. Ý tưởng ..................................................................... 44
2.2.4.2.2. Thuật toán chi tiết ..................................................... 44
2.2.4.3. Giải thích độ mờ của mô hình .......................................... 45
2.3. Kết luận chương 2 ..................................................................... 46
Chương 3. TÌM KIẾM MẪU TRONG VĂN BẢN NÉN VÀ MÃ
HOÁ .................................................................................................... 47
3.1. Tiếp cận tìm kiếm tổng quát trên văn bản nén và mã hoá ........... 47
3.2. Tìm kiếm trên văn bản nén ........................................................ 50
3.2.1. Các mô hình nén văn bản ........................................................ 50
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

http://www.lrc-tnu.edu.vn

4

3.2.2. Thuật toán tìm kiếm trên dữ liệu nén dạng text ....................... 50
3.3. Tìm kiếm trên văn bản mã hóa................................................... 55
3.3.1. Tìm kiếm trên văn bản mã hóa dạng khối kí tự ....................... 55
3.3.2. Mã đàn hồi .............................................................................. 55
3.3.3. Tìm kiếm trên văn bản mã hóa bởi mã đàn hồi ....................... 58
3.3.3.1. Ý tưởng chung ................................................................. 58
3.3.3.2. Phương pháp đánh giá độ mờ xuất hiện mẫu trên văn bản
mã hóa .......................................................................................... 59
3.3.3.2.1. Bài toán .................................................................... 59
3.3.3.2.2. Mô tả phương pháp ................................................... 59
3.3.3.2.3. Chi tiết hóa các otomat trong thuật toán ................... 60
3.3.3.2.4. Thuật toán tìm kiếm mẫu dựa trên otomat ................. 61
3.3.4. Tìm kiếm trên văn bản mã hóa hai tầng .................................. 63
3.4. Kết luận chương 3 ..................................................................... 64
KẾT LUẬN ......................................................................................... 65
TÀI LIỆU THAM KHẢO.................................................................. 67

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

http://www.lrc-tnu.edu.vn

5

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT

Các ký hiệu

Xâu rỗng

wi

Ký tự thứ i của xâu w

w(f, d)

Xâu con (hay khúc con) độ dài f của xâu w, kết
thúc ở vị trí d trên w

w1 ≤ s w2

Xâu w1 là khúc đuôi của w2

w1 ≤ ls w2

Xâu w1 là khúc đuôi dài nhất của w2

w(t) hoặc preft(w)

Khúc đầu độ dài t của xâu w

suft(w)

Khúc cuối độ dài t của xâu w

|A|

Lực lượng của tập A

Các chữ viết tắt
NFA

Otomat đa định hữu hạn

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

http://www.lrc-tnu.edu.vn

DANH MỤC CÁC HÌNH VẼ
Hình 1.1. Ý nghĩa của mảng next ......................................................... 19
Hình 1.2. Ý nghĩa của mảng next tại vị trí m + 1 .................................. 19
Hình 2.1. Dịch chuyển con trỏ trên mẫu ............................................... 32
Hình 2.2. Ý tưởng chung của thuật toán KMP-BM mờ ........................ 35
Hình 2.3. Một ví dụ với các khối độ dài t = 3 ....................................... 44
Hình 2.4. Tập mờ mô tả độ gần tựa ngữ nghĩa của mẫu P
so với xâu đích S................................................................. 45
Hình 3.1. Phương pháp so mẫu trên miền nén có sử dụng otomat mờ .. 48
Hình 3.2. Phương pháp so mẫu không giải mã ..................................... 49
Hình 3.3. Queue trước (a) và sau (b) khi thực hiện thủ tục Decompress 52
Hình 3.4. Queue trước (a) và sau (b) bước nhảy n2‟ ............................. 53
Hình 3.5. Đồ thị xây dựng khái niệm tích đàn hồi ................................ 56
Hình 3.6. Đồ thị xác định mã đàn hồi ................................................... 58
Hình 2.7. Quá trình mã hóa hai tầng ..................................................... 64
Hình 2.8. Quá trình giải mã hai tầng ..................................................... 64
Hình 2.9. Quá trình tìm kiếm mẫu trên văn bản mã hóa hai tầng .......... 64

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

http://www.lrc-tnu.edu.vn

MỞ ĐẦU
1. Lý do chọn đề tài
Bộ não của con người có thể xử lý thông tin ở hai mức:
- Mức định lượng (chính xác)
- Mức định tính (không chính xác, bất định, mơ hồ, không
chắc chắn, nhập nhằng, không rõ ràng, mờ)
Tính thông minh trong quá trình xử lý thông tin thể hiện ở khả
năng xử lý thông tin định tính. Đây là điều mà thế hệ máy tính hiện nay
đang hướng tới.
Máy tính ngày nay đã được sử dụng trong hầu hết các lĩnh vực và
đã góp phần quan trọng vào việc thúc đẩy sự phát triển kinh tế, xã hội,
khoa học kỹ thuật, … Máy tính ra đời nhằm phục vụ cho những mục
đích nhất định của con người. Với tất cả sự xử lý của máy tính để lấy
thông tin hữu ích và trong quá trình xử lí đó một vấn đề đặc biệt quan
trọng là tìm kiếm thông tin với khối lượng lớn, độ chính xác cao, thời
gian nhanh nhất.
Tìm kiếm thông tin thì bài toán đóng vai trò quan trọng là bài toán
so mẫu, với mẫu có thể ở bất kỳ kiểu dữ liệu nào, từ văn bản đến các loại
dữ liệu đa phương tiện khác (ảnh, video, âm thanh, …). Trên thực tế có
rất nhiều ứng dụng tìm kiếm thông tin như: công cụ tìm kiếm của các hệ
điều hành, khai phá web trên Internet, ...
Để tìm kiếm thông tin thì cần phải xem thông tin đó lưu trữ dưới
dạng dữ liệu nào? Dữ liệu được lưu trữ dưới nhiều dạng, song phổ biến
nhất vẫn là dạng text nên chúng tôi chọn đề tài này cụ thể là tìm kiếm
văn bản text. Tìm kiếm văn bản text nếu như những văn bản có khối
lượng lớn thì có thể mất nhiều thời gian với những thuật toán kinh điển.
Vậy đặt ra vấn đề tìm kiếm văn bản nhưng ở dạng nén sẽ nhanh hơn.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

http://www.lrc-tnu.edu.vn

1

Nên chúng tôi đi vào làm cụ thể là tìm kiếm mẫu trong văn bản nén.
Ngoài ra, văn bản nén cũng là văn bản mã hoá nhưng dung lượng giảm
nhiều so với văn bản nguồn nên chúng tôi đi nghiên cứu mở rộng thêm
văn bản mã hoá.
Trong các bài toán tìm kiếm, để tìm kiếm nhanh đáp ứng được nhu
cầu và không chỉ tìm kiếm cứng nhắc trong với từ khoá đưa ra. Người
dùng mong muốn có thể tìm được cả những thông tin liên quan gợi ý cho
người dùng. Vậy bài toán đó thì việc tìm kiếm theo hệ mờ là rất cần
thiết. Vì vậy cần phải xây dựng các thuật toán mềm dẻo cho phép phát
huy được sức mạnh của tìm kiếm mờ và đặc biệt cho phép sử dụng được
nguồn tri thức giàu tính chuyên gia trong những tính huống tìm kiếm
phức tạp.
2. Mục đích nghiên cứu
Luận văn tập trung nghiên cứu về tiếp cận otomat mờ và xây dựng
một số giải thuật tiếp cận otomat mờ để tìm kiếm mẫu của văn bản nén.
3. Đối tượng nghiên cứu
- Tìm hiểu về otomát mờ.
- Tìm hiểu về văn bản nén và mã hoá.
- Cách so mẫu theo hướng tiếp cận otomát mờ.
4. Giả thuyết khoa học
Nếu chúng ta sử dụng tiếp cận otomát mờ thì chúng ta không những
tìm kiếm được những thông tin chính xác mong muốn mà còn tìm kiếm
được những thông tin liên quan trong thời gian nhanh nhất, đáp ứng nhu
cầu người dùng.
5. Nhiệm vụ nghiên cứu
- Nghiên cứu về otomat mờ.
- Nghiên cứu về nén và mã hoá.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

http://www.lrc-tnu.edu.vn

2

- Đưa ra các thuật toán tìm kiếm, các kết quả nghiên cứu trên.
- Luận văn cũng mong muốn nêu ra được một số hướng nghiên
cứu mở rộng về tìm kiếm mẫu theo hướng tiếp cận otomat mờ.
6. Phạm vi nghiên cứu
Luận văn tập trung nghiên cứu các kiến thức có liên quan, các cơ
sở lý thuyết: Hệ mờ, otomat mờ, các thuật toán tìm kiếm mẫu, các thuật
toán tìm kiếm mẫu theo cách tiếp cận otomat mờ.
7. Phương pháp nghiên cứu
Otomat mờ được xem là sự tổng quát hoá của otomat hữu hạn.
Trong đó tập trạng thái là các tập mờ, hàm chuyển trạng thái và trạng
thái kết thúc được biểu diễn qua các quan hệ mờ. Theo đánh giá của các
chuyên gia, các hệ hình thức otomat mờ là mô hình toán học thích hợp
với một số hệ thống quyết định, điều khiển, nhận dạng và đặc biệt được
dùng trong đoán nhận mẫu. Tận dụng những ưu điểm trên và sự kết hợp
với lý thuyết mờ, sử dụng một số hệ hình thức otomat mờ để giải bài
toán so xâu mẫu. Để thấy rõ được tiếp cận otomat mờ chúng tôi chọn
một bài toán cụ thể là tìm kiếm mẫu trong văn bản nén và mã hoá.
Trong phạm vi luận văn, bài toán có thể làm với các tệp dữ liệu
nén mà không cần giải nén toàn bộ. Ý tưởng cơ bản là đọc tuần tự trên
tệp nén và mở nén một số mã nén, lưu kết quả giải nén cục bộ vào vùng
đệm và áp dụng thuật toán theo tiếp cận mờ trên vùng đệm này.
Nội dung luận văn gồm có phần mở đầu, 3 chương, phần kết
luận, tài liệu tham khảo và phụ lục.
Chương 1- Giới thiệu chung về vấn đề tìm kiếm văn bản, trọng tâm
là bài toán so xâu mẫu. Hướng tiếp cận của luận văn cho bài toán so
mẫu, chính xác và xấp xỉ, trên môi trường nén và mã hoá hoặc không sử
dụng một số hệ hình thức otomat mờ.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

http://www.lrc-tnu.edu.vn

3

Chương 2 - Đưa ra ví dụ về bài toán so mẫu xấp xỉ và chính xác....
Chương 3- Giới thiệu một số thuật toán tìm kiếm mẫu trên môi
trường văn bản nén và mã hoá.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

http://www.lrc-tnu.edu.vn

4

Sign up to vote on this title
UsefulNot useful