Giao Trinh Ly Thuyt Thong Tin

Giáo trình: Lý thuyết thông tin.
M CL C
GI I THI U T NG QUAN.............................................................................................................6
1. M C ĐÍCH ...........................................................................................................................6
2. YÊU C U .............................................................................................................................6
3. N I DUNG C T LÕI...........................................................................................................7
4. K T TH C TIÊN QUY T ..................................................................................................7
5. TÀI LI U THAM KH O.....................................................................................................8
6. PH NG PHÁP H C T P.................................................................................................8
CH NG 1: GI I THI U ...............................................................................................................9
1. M c tiêu.................................................................................................................................9
2. Đ i t ng nghiên c u............................................................................................................9
3. Mô hình lý thuy t thông tin theo quan đi m Shannon ........................................................10
4. L ng tin bi t và ch a bi t .................................................................................................10
5. Ví d v l ng tin bi t và ch a bi t ....................................................................................10
6. Đ nh lý c s c a kỹ thu t truy n tin ..................................................................................11
7. Mô t tr ng thái truy n tin có nhi u ....................................................................................11
8. Minh h a kỹ thu t gi m nhi u.............................................................................................12
9. Chi phí ph i tr cho kỹ thu t gi m nhi u ............................................................................13
10. Khái ni m v dung l ng kênh truy n ............................................................................13
11. V n đ sinh mã ................................................................................................................13
12. V n đ gi i mã.................................................................................................................13
CH NG 2: Đ ĐO L NG TIN ...............................................................................................15
BÀI 2.1: ENTROPY .......................................................................................................................15
1. M c tiêu...............................................................................................................................15
2. Ví d v entropy..................................................................................................................15
3. Nh n xét v đ đo l ng tin ................................................................................................15
4. Khái ni m entropy ...............................................................................................................16
5. Entropy c a m t s ki n......................................................................................................16
6. Entropy c a m t phân ph i .................................................................................................16
7. Đ nh lý d ng gi i tích c a Entropy......................................................................................16
8. Ví d minh h a ....................................................................................................................17
9. Bài toán v cây tìm ki m nh phân-Đ t v n đ ...................................................................17
10. Bài toán v cây tìm ki m nh phân - Di n gi i................................................................17
11. Bài t p .............................................................................................................................18
BÀI 2.2: CÁC TÍNH CH T C A ENTROPY .............................................................................19
1. M c tiêu: .............................................................................................................................19
2. Các tính ch t c b n c a Entropy........................................................................................19
3. Minh h a tính ch t 1 và 2....................................................................................................19
4. Minh h a tính ch t 3 và 4....................................................................................................19
5. Đ nh lý c c đ i c a entropy ................................................................................................20
6. Ch ng minh đ nh lý c c đ i c a Entropy............................................................................20
7. Bài t p .................................................................................................................................21
BÀI 2.3: ENTROPY C A NHI U BI N .....................................................................................22
1. M c tiêu...............................................................................................................................22
2. Đ nh nghĩa Entropy c a nhi u bi n.....................................................................................22
3. Ví d Entropy c a nhi u bi n..............................................................................................22
4. Đ nh nghĩa Entropy có đi u ki n.........................................................................................22
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 1
5. Ví d Entropy có đi u ki n .................................................................................................23
6. Quan h gi a H(X,Y) v i H(X) và H(Y) khi X, Y đ c l p.................................................23
7. Quan h gi a H(X,Y) v i H(X) và H(Y) khi X, Y t ng quan ..........................................24
8. Bài t p .................................................................................................................................25
BÀI 2.4: MINH H A CÁC ENTROPY ........................................................................................26
1. M c tiêu...............................................................................................................................26
2. Yêu c u c a bài toán ...........................................................................................................26
3. Xác đ nh các phân ph i ng u nhiên c a bài toán ................................................................26
4. Minh h a Entropy H(X), H(Y) và H(X,Y)..........................................................................27
5. Minh h a Entropy H(X/Y) và H(Y/X) ................................................................................27
6. Minh h a quan h gi a các Entropy....................................................................................27
BAI 2.5: ĐO L NG TIN (MESURE OF INFORMATION) ......................................................28
1. M c tiêu...............................................................................................................................28
2. Đ t v n đ bài toán..............................................................................................................28
3. Xác đ nh các phân ph i c a bài toán...................................................................................28
4. Nh n xét d a theo entropy ..................................................................................................28
5. Đ nh nghĩa l ng tin ...........................................................................................................29
6. Bài t p .................................................................................................................................29
CH NG 3: SINH MÃ TÁCH Đ C (Decypherable Coding)...................................................31
BÀI 3.1: KHÁI NI M V MÃ TÁCH Đ C..............................................................................31
1. M c tiêu...............................................................................................................................31
2. Đ t v n đ bài toán sinh mã ................................................................................................31
3. Khái ni m v b ng mã không tách đ c .............................................................................32
4. B ng mã tách đ c..............................................................................................................32
5. Khái ni m b ng mã t c th i ................................................................................................33
6. Gi i thu t ki m tra tính tách đ c c a b ng mã..................................................................33
7. Bài toán 1- yêu c u..............................................................................................................33
8. Bài toán 1 - Áp d ng gi i thu t ...........................................................................................34
9. Bài toán 2 ............................................................................................................................34
10. Bài t p .............................................................................................................................35
BÀI 3.2: QUAN H GI A MÃ TÁCH Đ C VÀ Đ DÀI MÃ................................................36
1. M c tiêu...............................................................................................................................36
2. Đ nh lý Kraftn(1949)...........................................................................................................36
3. Đ nh nghĩa cây b c D c k. .................................................................................................36
4. V n đ sinh mã cho cây b c D c k ....................................................................................37
5. Ch ng minh đ nh lý Kraft (Đi u ki n c n) .........................................................................37
6. Ch ng minh đ nh lý Kraft (Đi u ki n đ )...........................................................................38
7. Ví d minh h a đ nh lý Kraft ..............................................................................................38
8. Bài t p .................................................................................................................................39
BÀI 3.3: TÍNH T I U C A Đ DÀI MÃ..................................................................................40
1. M c tiêu...............................................................................................................................40
2. Đ nh lý Shannon (1948) ......................................................................................................40
3. B ng mã t i u tuy t đ i .....................................................................................................40
4. B ng mã t i u t ng đ i....................................................................................................41
5. Đi u ki n nh n bi t m t b ng mã t i u .............................................................................41
6. Đ nh lý Huffman .................................................................................................................41
7. Ph ng pháp sinh mã Huffman...........................................................................................42
8. Minh h a ph ng pháp sinh mã Huffman ..........................................................................42
9. Nh n xét tính t i u c a b ng mã Huffman ........................................................................43
10. Bài t p .............................................................................................................................43
CH NG 4: KÊNH TRUY N ......................................................................................................45

BÀI 4.1: KÊNH TRUY N R I R C KHÔNG NH ...................................................................45
1. M c tiêu...............................................................................................................................45
2. Gi i thi u.............................................................................................................................45
3. Mô hình v t lý .....................................................................................................................45
4. Mô hình toán h c.................................................................................................................46
5. Ví d xác đ nh phân ph i đ u nh n.....................................................................................47
6. L ng tin trên kênh truy n..................................................................................................47
7. Đ nh nghĩa dung l ng kênh truy n....................................................................................48
BAI 4.2: CÁC D NG KÊNH TRUY N........................................................................................49
1. M c tiêu...............................................................................................................................49
2. Hi u đ nh lý v dung l ng kênh truy n,Kênh truy n không m t tin.................................49
3. Kênh truy n xác đ nh ..........................................................................................................49
4. Kênh truy n không nhi u ....................................................................................................50
5. Kênh truy n không s d ng đ c. ......................................................................................50
6. Kênh truy n đ i x ng..........................................................................................................50
7. Xây d ng công th c tính dung l ng kênh truy n đ i x ng ..............................................51
8. Đ nh lý v dung l ng kênh truy n.....................................................................................52
9. Bài t p .................................................................................................................................52
BÀI 4.3: L C Đ GI I MÃ .......................................................................................................53
1. M c tiêu...............................................................................................................................53
2. Đ t v n đ bài toán gi i mã .................................................................................................53
3. Ví d bài toán gi i mã .........................................................................................................53
4. Các khái ni m c b n c a kỹ thu t truy n tin .....................................................................54
5. Ví d minh h a các khái ni m c b n .................................................................................54
6. Các d ng sai s c b n ........................................................................................................55
7. Ph ng pháp xây d ng l t đ gi i mã t i u....................................................................55
8. Minh h a xây d ng l c đ gi i mã t i u .........................................................................56
9. Minh h a cách tính các sai s ..............................................................................................57
10. Bài t p 1 ..........................................................................................................................58
11. Bài T p 2 .........................................................................................................................58
CH NG 5: S A L I...................................................................................................................59
BÀI 5.1: NGUYÊN LÝ KHO NG CÁCH NH NH T HAMMING .........................................59
1. M c tiêu: .............................................................................................................................59
2. Kho ng cách Hamming .......................................................................................................59
3. Kênh truy n đ i x ng nh phân và l c đ gi i mã t i u..................................................59
4. Ví d kênh truy n đ i x ng nh phân..................................................................................60
5. Quan h gi a xác su t gi i mã và kho ng cách Hamming..................................................60
6. Nguyên lý Hamming ...........................................................................................................60
7. Bài t p .................................................................................................................................61
BÀI 5.2: B Đ V T S A L I VÀ C N HAMMING ...........................................................62
1. M c tiêu...............................................................................................................................62
2. B đ v t s a l i...............................................................................................................62
3. Ch ng minh và minh h a b đ ..........................................................................................62
4. C n Hamming. ....................................................................................................................63
5. Phân các d ng l i.................................................................................................................64
6. Bài t p .................................................................................................................................64
BÀI 5.3: MÃ KI M TRA CH N L .............................................................................................64
1. M c tiêu: .............................................................................................................................64
2. B mã ki m tra ch n l ........................................................................................................65
3. Ph ng pháp ki m tra ch n l .............................................................................................65

4. Ph ng pháp sinh mã ki m tra ch n l ...............................................................................66
5. Ví d sinh mã ki m tra ch n l ............................................................................................66
6. Đ nh lý quan h gi a đ dài mã n, s bit ki m tra m và s l i t s a e ..............................67
7. Ví d tìm m nh nh t t n và e...........................................................................................68
8. Ví d tìm e l n nh t t m và n.............................................................................................68
9. Bài t p .................................................................................................................................68
BÀI 5.4: NHÓM C NG TÍNH VÀ B T MÃ CH N L .........................................................69
1. M c tiêu...............................................................................................................................69
2. Khái ni m nhóm c ng tính. .................................................................................................69
3. Tính ch t c a b mã ch n l ................................................................................................69
4. Ví d minh h a ....................................................................................................................70
5. Ph ng pháp sinh mã ki m tra ch n l nhanh.....................................................................71
6. Ví d sinh mã ki m tra ch n l nhanh .................................................................................71
7. Bài t p .................................................................................................................................72
BÀI 5.5: L C Đ S A L I T I U.........................................................................................73
1. M c tiêu...............................................................................................................................73
2. Đ t v n đ ............................................................................................................................73
3. Đ nh nghĩa Hi p h p ...........................................................................................................73
4. L c đ s a l i theo các hi p h p ......................................................................................74
5. L c đ s a l i thong qua b l i.........................................................................................74
6. Ví d minh h a l c đ s a l i 1 bit...................................................................................74
9. Xác su t truy n đúng...........................................................................................................76
10. Bài t p .............................................................................................................................76
BÀI 5.6: MÃ HAMMING ..............................................................................................................76
1. M c tiêu...............................................................................................................................76
2. Mã Hammin.........................................................................................................................77
3. Tính ch t..............................................................................................................................77
4. Ví d minh h a ....................................................................................................................77
5. Bài t p .................................................................................................................................78
BÀI 5.7: THANH GHI LÙI T NG B C ...................................................................................79
1. M c tiêu...............................................................................................................................79
2. Đ t v n đ ............................................................................................................................79
3. Bi u di n v t lý c a thanh ghi .............................................................................................79
4. Bi u di n toán h c c a thanh ghi ........................................................................................80
5. Ví d thanh ghi lui t ng b c .............................................................................................80
6. Chu kỳ c a thanh ghi...........................................................................................................81
7. Ví d tìm chu kỳ c a thanh ghi ...........................................................................................81
8. Bài t p .................................................................................................................................82
BÀI 5.8: MÃ XOAY VÒNG ..........................................................................................................82
1. M c tiêu...............................................................................................................................82
2. Ma tr n ki m tra ch n l mã xoay vòng ..............................................................................83
3. Đ nh nghĩa mã xoay vòng ...................................................................................................83
4. Ph ng pháp sinh nhanh b mã xoay vòng.........................................................................83
5. Ví d sinh nhanh b mã xoay vòng.....................................................................................84
6. Bài t p .................................................................................................................................85
BÀI 5.9: ĐA TH C Đ C TR NG C A THANH GHI ...............................................................86
1. M c tiêu...............................................................................................................................86
2. Đ nh nghĩa đa th c đ c tr ng c a thanh ghi .......................................................................86

3. Quan h gi a chu kỳ n, đa th c đăc tr ng và đa th c (xn + 1)............................................86
4. Th t c sinh thanh ghi lùi t ng b c ..................................................................................87
5. Ví d minh h a ....................................................................................................................87
6. Bài t p .................................................................................................................................87
Bài 5.10: PH NG PHÁP SINH MÃ XOAY VÒNG ..................................................................88
1. M c tiêu...............................................................................................................................88
2. Đ t v n đ ............................................................................................................................88
3. Ph ng pháp sinh b ng mã xoay vòng................................................................................88
4. Ví d minh h a 1.................................................................................................................89
5. Ví d minh h a 2.................................................................................................................89
6. Ví d minh h a 3.................................................................................................................90
7. B ng li t kê m t s đa th c đ c tr ng.................................................................................90
8. Bài t p .................................................................................................................................90
BÀI T P T NG H P ....................................................................................................................91
1. M c tiêu...............................................................................................................................91
2. Bài 1 ....................................................................................................................................91
3. Bài 2 ....................................................................................................................................91
4. Bài 3 ....................................................................................................................................92
5. Bài 4 ....................................................................................................................................93
TÀI LI U THAM KH O...............................................................................................................95
GI I THI U T NG QUAN
GIÁO TRÌNH LÝ THUY T THÔNG TIN
M C ĐÍCH
Giáo trình này s cung c p cho ng i đ c nh ng kh i ki n th c c b n c a lý thuy t thông tin
nh : Đ do l ng tin (Measure of Information), Sinh mã tách đ c (Decypherable Coding),
Kênh truy n tin r i r c không nh (Discrete Memoryless Channel) và S a l i trên kênh truy n
(Error Correcting Codings).
• Liên quan đ n Đ đo l ng tin, giáo trình s trình bày các khái ni m c b n v thông tin,
entropy, m t s công th c, tính ch t, các đ nh lý quan tr ng c a entropy và cách tính
l ng tin.
• V Sinh mã tách đ c, giáo trình s gi i thi u đ n ng i h c các v n đ v yêu c u c a

bài toán sinh mã, gi i mã duy nh t, cũng nh mã t c th i và gi i thu t ki m tra mã tách
đ c. Các đ nh lý quan tr ng đ c đ c p trong n i dung này là: Đ nh lý Kraft (1949),
Đ nh lý Shannon (1948) và Đ nh lý sinh mã Huffman.
• V kênh truy n tin r i r c không nh , giáo trình s gi i thi u mô hình kênh truy n theo
2 khía c nh v t lý và toán h c. Các khái ni m v dung l ng kênh truy n, phân l p kênh
truy n, đ nh lý v dung l ng kênh truy n, cũng nh các khái ni m trong kỹ thu t truy n
tin và ph ng pháp xây d ng l c đ gi i mã t i u cũng đ c trình bày trong môn h c
này.
• V n đ S a l i (hay x lý mã sai) trên kênh truy n là m t v n đ r t quan tr ng và

đ c quan tâm nhi u trong môn h c này. Các n i dung đ c gi i thi u đ n các b n s là
Nguyên lý Kho ng cách Hamming, các đ nh lý v C n Hamming, ph ng pháp ki m tra
ch n l , các l c đ s a l i, B ng mã Hamming và B ng mã xoay vòng.
H n n a, h u h t các v n đ nêu trên đ u đ c đ a vào n i dung gi ng d y các b c Đ i h c

c a m t s ngành trong đó có ngành Công ngh thông tin. Do đó, đ có m t tài li u ph c v
công tác gi ng d y c a giáo viên cũng nh vi c h c t p và nghiên c u c a sinh viên, chúng tôi
m nh d n biên so n giáo trình này nhằm giúp cho sinh viên có m t tài li u t h c và nghiên
c u m t cách hi u qu .
YÊU C U
Sau khi h c xong môn này, sinh viên ph i có đ c nh ng kh năng sau:
• Hi u các khái ni m v v thông tin, Entropy, Entropy c a m t phân ph i, Entropy c a
nhi u phân ph i, Entropy có đi u ki n, Đ đo l ng tin. V n d ng gi i quy t các bài toán
v xác đ nh l ng tin.
• Bi t khái ni m v mã tách đ c, mã không tách đ c, b ng mã t i u. Hi u Đ nh lý Kraft
(1949), Đ nh lý Shannon (1948), Đ nh lý sinh mã Huffman và ph ng pháp sinh mã
Huffman. V n d ng đ sinh b ng mã tách đ c t i u, nh n bi t đ c b ng mã nh th
nào là b ng mã t i u và có th v n d ng đ vi t các ch ng trình sinh mã, gi i mã (hay
vi t ch ng trình nén và gi i nén). T đây, các sinh viên có th t nghiên c u các lo i
b ng mã khác đ v n d ng cho vi c mã hóa và b o m t thông tin m t cách hi u qu .
• Bi t các khái ni m v kênh truy n tin r i r c không nh , dung l ng kênh truy n và phân
l p kênh truy n. Hi u đ nh lý v dung l ng kênh truy n, ph ng pháp xây d ng l c đ
•
gi i mã t i u và cách tính xác su t truy n sai trên kênh truy n.
Bi t các khái ni m v kho ng cách Hamming, nguyên lý kho ng cách Hamming, các đ nh
lý v C n Hamming, ph ng pháp ki m tra ch n l , các l c đ s a l i, B ng mã
•
Hamming và B ng mã xoay vòng.
V n d ng các ki n th c h c đ c đ thi t k m t h th ng truy n nh n d li u v i quy
trình c b n: mã hóa, gi i mã và b o m t thông tin.
Lý thuy t thông tin cũng là m t trong các môn h c khó c a ngành Công ngh thông tin vì nó
đòi h i ng i h c ph i có ki n th c c b n v toán và xác su t th ng kê. Do đó, đòi h i ng i
h c ph i t b sung các ki n th c c b n v toán và xác su t th ng kê cho mình (n u thi u),
tham gia l p h c đ y đ và làm các bài t p theo yêu c u c a môn h c thì m i ti p thu ki n
th c môn h c m t cách hi u qu .
N I DUNG C T LÕI
Giáo trình g m 5 ch ng đ c trình bày trong 45 ti t gi ng cho sinh viên chuyên ngành Công
ngh thông tin, trong đó có kho ng 30 ti t lý thuy t và 15 ti t bài t p mà giáo viên s h ng d n
cho sinh viên trên l p.
Ch ng 1: Gi i thi u. Chương này trình bày các nội dung có tính tổng quan về môn học bao
gồm: các đối tượng nghiên cứu, mô hình lý thuyết thông tin theo quan điểm của nhà toán học
Shannon, khái niệm về lượng tin biết và chưa biết, định lý cơ bản của kỹ thuật truyền tin.
Ch ng 2: Đ đo l ng tin. Chương này trình bày các vấn đề cơ bản về entropy, các tính chất
của entropy, entropy của nhiều biến, entropy có điều kiện, các định lý về quan hệ giữa các
entropy và lượng tin của một sự kiện.
Ch ng 3: Sinh mã tách đ c. Nội dung chính của chương này bao gồm các khái niệm về mã
tách được, quan hệ giữa mã tách được và độ dài mã, tính tối ưu của độ dài mã.
Ch ng 4: Kênh truy n. Các nội dung được trình bày trong chương này bao gồm khái niệm về
kênh truyền tin rời rạc không nhớ, các mô hình truyền tin ở khía cạnh vật lý và toán học, dung
lượng trên kênh truyền, phân lớp các kênh truyền. Phương pháp xây dựng lược đồ giải mã tối ưu
và cách tính xác suất truyền sai cũng được giới thiệu trong chương này.
Ch ng 5: S a l i. Chương này trình bày các nội dung cốt lõi sau: khái niệm về khoảng cách
Hamming, nguyên lý khoảng cách nhỏ nhất Hamming, bổ đề về tự sửa lỗi và định lý Cận
Hamming. Chương này cũng giới thiệu về bộ mã kiểm tra chẵn lẻ, phương pháp kiểm tra chẵn lẻ,
lược đồ sửa lỗi tối ưu, mã Hamming và mã xoay vòng.
K T TH C TIÊN QUY T
Đ h c t t môn h c này, đòi h i sinh viên ph i nắm v ng các môn h c có liên quan nh : xác su t
th ng kê, đ i s boole (phép toán Modulo 2 và đa th c nh phân). Các môn h c có liên quan và có
th tham kháo thêm nh kỷ thu t s , h đi u hành, m ng máy tính.
TÀI LI U THAM KH O
1. David J.C. Mackey, Information Theory, Infernce, and Learning Algorithms, CamBridge
University Express-2003.
2. G.J.ChaiTin, Algorithmic Information Theory, CamBridge University Express-1992.
3. Sanford Goldman, Information Theory.
4. http://www.inference.phy.cam.ac.uk/mackay/info-theory/course.html.
5. http://en.wikipedia.org/wiki/Information_theory.
6. http://www-2.cs.cmu.edu/~dst/Tutorials/Info-Theory/.
7. http://cscs.umich.edu/~crshalizi/notebooks/information-theory.html.
8. http://www.lecb.ncifcrf.gov/~toms/paper/primer/primer.pdf.
9. http://www.cs.ucl.ac.uk/staff/S.Bhatti/D51-notes/node27.html.
10. http://guest.engelschall.com/~sb/hamming/.
11. http://www2.rad.com/networks/1994/err_con/hamming.htm
PH NG PHÁP H C T P
Đ ph c v cho m c tiêu nâng cao kh năng t h c t p và t nghiên c u c a sinh viên, giáo trình
này đ c biên so n cùng v i các giáo trình khác thu c chuyên ngành Công ngh thông tin c a
Khoa Công ngh thông tin và Truy n thông – Đ i H c C n Th theo d án ASVIET002CNTT
“Tăng c ng hi u qu đào t o và năng l c đào t o c a sinh viên khoa Công ngh Thông tin-
Đ i h c C n Th ”. Chúng tôi đã c gắng trình bày giáo trình này m t cách có h th ng các n i
dung theo b c c các ch ng ng v i các kh i ki n th c nêu trên, m i ch ng đ c đ c trình
bày theo b c c c a các bài h c và m i bài h c gi i thi u đ n ng i h c m t v n đ nào đó trong
s các v n đ c a m t kh i ki n th c t ng ng v i m t ch ng. Khi h c xong các bài h c c a
m t ch ng, ng i h c s có m t kh i ki n th c c n thi t t ng ng cho môn h c. N i dung c a
các bài h c đ u đ c đ a vào các ví d đ ng i h c d hi u, tùy theo t ng v n đ mà ng i h c
c n ph i h c và nghiên c u trong th i l ng t 1 đ n 2 ti t t h c cho m t bài h c trong m t
ch ng. Nh v y, đ h c t t môn h c này, tr c h t sinh viên c n ph i:
• H c đ y đ các môn h c tiên quy t, b sung nh ng ki n th c c b n v toán và xác su t
•
th ng kê (n u thi u).
H c và nghiên c u kỹ t ng ch ng theo trình t các ch ng đ c trình bày trong giáo
trình này. Trong t ng ch ng, h c các bài theo th t đ c trình bày, sau m i bài ph i làm
bài t p đ y đ (n u có).
• Tham gia l p đ y đ , th o lu n các v n đ t n t i ch a hi u trong quá trình t h c.
• Sau m i ch ng h c, ph i nắm v ng các khái ni m, các đ nh nghĩa, các công th c tính
toán và v n d ng gi i các bài toán có tính ch t t ng h p đ c gi i thi u cu i ch ng.
• V n d ng ki n th c có đ c sau khi h c xong các ch ng đ gi i m t s bài t p t ng h p
cu i giáo trình, t đó giúp cho ng i h c hi u sâu h n v môn h c và có th gi i quy t
các v n đ t ng t trong th c t .
Vi c cho ra đ i m t giáo trình v i nh ng m c đích nh trên là không đ n gi n khi kh năng và

kinh nghi m c a ng i so n còn có h n, nhi u khái ni m, thu t ng dùng trong giáo trình ch a
đ c đ nh nghĩa m t cách chính th ng. Vì v y giáo trình này chắc không tránh kh i nh ng khi m
khuy t, r t mong nh n đ c s góp ý c a các đ ng nghi p và ng i đ c.
CH NG 1: GI I THI U
1: M c tiêu
Sau khi hoàn t t bài h c này b n có th bi t:
- Đ i t ng nghiên c u,
- Mô hình lý thuy t thông tin theo quan đi m Shannon,
- Các khái ni m v L ng tin bi t và l ng tin ch a bi t,
- Đ nh lý c s c a kỹ thu t truy n tin,
- Khái ni m chung v dung l ng kênh truy n,
- V n đ sinh mã và gi i mã.
Đ it ng nghiên c u
Lý thuy t th ng kê v thông tin đ c xây d ng trên hai h ng khác nhau b i hai nhà toán h c
Shannon (1948) và Wiener (1949). Lý thuy t thông tin nghiên c u quá trình x lý tín hi u nh
sau:
Đ u vào (input): nh n tín hi u t m t lĩnh v c c th , t c là tín hi u xu t hi n theo các ký hi u

(symbol) t m t t p h p cho tr c và theo phân ph i xác su t đã bi t.
Tín hi u đ c truy n đi trên kênh truy n (channel) và có th b nhi u cũng theo m t phân ph i
xác su t nào đó. Kênh truy n có th đ c hi u d i hai nghĩa:
D i nghĩa v t lý: kênh truy n là m t h th ng truy n tín hi u (dây d n, m ch, sóng, ...) và gây
nhi u tùy thao ch t l ng c a h th ng.
D i nghĩa toán h c: kênh truy n là các phân ph i xác su t xác đ nh trên l p các tín hi u đang xét
đ u nh n tín hi u (output).
đ u ra (output): d ng l i tín hi u chân th t nh t có th có so v i tín hi u đ u vào.

Shannon xây d ng mô hình lý thuy t thông tin trên c s gi i quy t bài toán: sinh mã đ dài t i
u khi nh n tín hi u đ u vào. Tín t i u đ c xét trên 3 y u t sau:
Phân ph i xác su t c a s xu t hi n c a các tín hi u.
Tính duy nh t c a mã và cho phép t đi u chỉnh mã sai n u có v i đ chính xác cao nh t. Gi i mã

đ ng th i t đ ng đi u chỉnh mã ho c xác đ nh đo n mã truy n sai.
Trong khí đó, Wiener l i nghiên c u ph ng pháp x lý tín hi u đ u ra: c l ng t i u chu i

tín hi u so v i chính nó khi nh n đ u vào không qua quá trình sinh mã. Nh v y ph ng pháp
Wiener đ c áp d ng trong nh ng tr ng h p con ng i không ki m soát đ c quá trình truy n
tín hi u. Môn “x lý tín hi u” đã đ c p đ n v n đ này.
Mô hình lý thuy t thông tin theo quan đi m Shannon

Lý thuy t thông tin đ c xét đây theo quan đi m c a Shannon. Đ i t ng nghiên c u là m t h
th ng liên l c truy n tin (communication system) nh s đ d i đây:
Ngu n Mã hóa Kênh Gi i mã Nh n
Nhi u
B ch cái B ch cái
Di n gi i:
- Ngu n (source) thông tin còn g i là thông báo c n đ c truy n đ u vào (Input).
- Mã hóa (encode) là b sinh mã. ng v i m t thông báo, b sinh mã s gán cho m t đ i
t ng (object) phù h p v i kỹ thu t truy n tin. Đ i t ng có th là:
o Dãy s ngh phân (Digital) d ng: 01010101, cũng gi ng nh mã máy tính.
o Sóng liên t c (Analog) cũng gi ng nh truy n radio.
- Kênh (channel) là ph ng ti n truy n mã c a thông tin.
- Nhi u (noise) đ c sinh ra do kênh truy n tin. Tùy vào ch t l ng c a kênh truy n mà
nhi u nhi u hay ít.
- Gi i mã (decode) đ u ra (output) đ a dãy mã tr v d ng thông báo ban đ u v i xác su t
cao nh t. Sau đó thông báo s đ c chuy n cho n i nh n. Trong s đ trên, chúng ta quan
tâm đ n 2 kh i mã hóa và gi i mã trong toàn b môn h c.
L ng tin bi t và ch a bi t
M t bi n ng u nhiên (BNN) X luôn mang m t l ng tin nào đó. N u X ch a x y ra (hay ta ch a
bi t c th thông tin v X) thì l ng tin c a nó là ch a bi t, trong tr ng h p này X có m t l ng
tin ch a bi t. Ng c l i n u X đã x y ra (hay ta bi t c th thông tin v X) thì l ng tin v bi n
ng u nhiên X coi nh đã bi t hoàn toàn, trong tr ng h p này X có m t l ng tin đã bi t.
N u bi t thông tin c a m t BNN X thông qua BNN Y đã x y ra thì ta có th nói: chúng ta chỉ bi t
m t ph n l ng thông tin c a X đó trên c s bi t Y.
Ví d v l ng tin bi t và ch a bi t
Ta xét ví d v m t ng i t ch c trò ch i may r i khách quan v i vi c tung m t đ ng ti n “có
đ u hình – không có đ u hình”. N u ng i ch i ch n m t không có đ u hình thì thắng khi k t
qu tung đ ng ti n là không có đ u hình, ngu c l i thì thua. Tuy nhiên ng i t ch c ch i có th
“ăn gian” bằng cách s d ng 2 đ ng ti n “Th t- Gi ” khác nhau sau:
+ Đ ng ti n lo i 1 (hay đ ng ti n th t): đ ng ch t có 1 m t có đ u hình.
+ Đ ng ti n lo i 2 (hay đ ng ti n gi ): đ ng ch t, m i m t đ u có 1 đ u hình.
M c dù ng i t ch c ch i có th “ăn gian” nh ng quá trình trao đ i 2 đ ng ti n cho nhau là ng u
nhiêu, v y li u ng i t ch c ch i có th “ăn gian” hoàn toàn đ c không? Hay l ng tin bi t và
ch a bi t c a s ki n l y m t đ ng ti n t 2 đ ng ti n nói trên đ c hi u nh th nào?
Ta th xét m t tr ng h p sau: n u ng i ch i l y ng u nhiên 1 đ ng ti n và sau đó th c hi n

vi c tung đ ng ti n l y đ c 2 l n. Qua 2 l n tung đ ng ti n, ta đ m đ c s đ u hình xu t hi n.
D a vào s đ u hình xu t hi n, ta có th phán đoán đ c ng i t ch c ch i đã l y đ c đ ng
ti n nào.
Ch ng h n: N u s đ u hình đ m đ c sau 2 l n t ng là 1 thì đ ng ti n đã l y đ c là đ ng ti n

th t. Ng c l i n u s đ u hình đ m đ c là 2 thì đ ng ti n đã l y đ c có th là th t hay cũng có
th là gi . Nh v y, ta đã nh n đ c m t ph n thông tin v lo i đ ng ti n qua s đ u hình đ m
đ c sau 2 l n tung. Ta có th tính đ c l ng tin đó bằng bao nhiêu? (Việc tính lượng tin này sẽ
được thảo luận sau). D i đây là m t s b ng phân ph i c a bài toán trên:
G i BNN X v lo i đ ng ti n (X=1 n u l y đ c đ ng ti n lo i 1 và X=1 n u l y đ c đ ng ti n

lo i 2 đ c l y).
Khi đó phân ph i c a X có d ng:
X 1 2
P 0.5 0.5
Đ t BNN Y là BNN v s đ u hình đ m đ c sau 2 l n tung. Khi đó ta có th xác đ nh đ c phân

ph i c a Y v i đi u ki n x y ra c a X trong 2 tr ng h p sau.
Phân ph i c a Y khi bi t X=1 có d ng:
Y/X=1 0 1 2
P 0.25 0.5 0.25
Phân ph i c a Y khi bi t X=2 có d ng:
Y/X=2 0 1 2
P 0 0 1
Đ nh lý c sở c a kỹ thu t truy n tin
Trong “ A New Basic of Information Theory (1954)”, Feinstein đã đ a ra đ nh lý sau: “Trên m t
kênh truy n có nhi u, ng i ta luôn có th th c hi n m t ph ng pháp truy n sao cho đ t đ c sai
s nh h n sai s cho phép (nh b t kỳ) cho tr c đ i v i kênh truy n.”
Chúng ta s không ch ng minh đ nh lý, thay vào đó, chúng ta s tham kh o đ n các minh h a
gi m nhi u trong các n i dung ti p theo c a bài h c.
Mô t tr ng thái truy n tin có nhi u
Gi s , m t thông báo đ c truy n đi trên m t kênh truy n nh phân r i r c. Thông báo c n
truy n đ c mã hóa thành dãy s nh phân (0,1) và có đ dài đ c tính theo đ n v bit. Gi s 1
bit truy n trên kênh nhi u v i xác su t 1/4 (hay tính trung bình c truy n 4 bit thì có th nhi u 1
bit).
¾ đúng
Ta có s đ tr ng thái truy n tin sau: 0 0
¼
Ngu n Mã hóa Truy n t ng bit
¼
1 1
¾ đúng
Minh h a kỹ thu t gi m nhi u

Trong kỹ thu t truy n tin, ng i ta có th làm gi m sai l m khi nh n tin bằng cách truy n l p l i 1
bit v i s l l n.
Ví d : truy n l p l i 3 cho 1 bit c n truy n (xác su t nhi u 1 bit bằng 1/4). Khi nh n 3 bit li n
nhau cu i k nh đ c xem nh là 1 bit. Giá tr c a bit này đ c hi u là 0 (hay 1) n u bit 0 (bit 1)
có s l n xu t hi n nhi u h n trong dãy 3 bit nh n đ c li n nhau (hay gi i mã theo nguyên tắc đa
s ). Ta c n ch ng minh v i ph ng pháp truy n này thì xác su t truy n sai th t s < 1/4 (xác su t
nhi u cho tr c c a kênh truy n).
S đ truy n tin:
Bit truy n Tuy n l p 3 l n Nh n 3 bit Gi i mã

0 000 000 0
000 001 0
000 010 0
000 100 0
000 101 1
000 011 1
000 110 1
000 111 1
1 111 000 0
111 001 0
111 010 0
111 100 0
111 011 1
111 110 1
111 111 1
111 111 1
Th t v y:
Gi s Xi xác đ nh giá tr đúng hay sai c a bit th i nh n đ c cu i kênh truy n v i Xi =1 n u

bit th i nh n đ c là sai và Xi =0 n u bit th i nh n đ c là đúng. Theo gi thi t ban đ u c a
kênh truy n thì phân ph i xác su t c a Xi có d ng Bernoulli b(1/4):
Xi 1 0
P 3/4 1/4
G i Y ={X1 + X2 + X3 } là t ng s bit nh n sai sau 3 l n truy n l p cho 1 bit. Trong tr ng h p

này Y tuân theo phân ph i Nh th c B(p,n), v i p=1/4 (xác su t truy n sai m t bit) và q =3/4 (xác
su t truy n đúng 1 bit):
Y ~ B(i,n) hay
p (Y = i ) = C ni . p i q n −i
Trong đó: C ni = i!( n − i )!
n!
V y truy n sai khi Y ∈ {2, 3} có xác xu t là:

Psai= P(y≥2) = P(Y=2) + P(Y=3) = B(2,3) + B(2,3)
Hay Psai = (C 32 ( ) 2 .( )1 ) + (C 33 ( ) 3 ( ) 0 ) = < (đpcm).
1 3 1 3 10 1
4 4 4 4 64 4
Chi phí ph i tr cho kỹ thu t gi m nhi u

Theo cách th c l p l i nh trên, ta có th gi m sai l m bao nhiêu cũng đ c (l p càng nhi u thì
sai càng ít), nh ng th i gian truy n cũng tăng lên và chi phí truy n cũng s tăng theo.
Hay ta có th hi u nh sau:
L p càng nhi u l n 1 bit => th i gian truy n càng nhi u => chi phí càng tăng.
Khái ni m v dung l ng kênh truy n
Ví d trên cho chúng ta th y c n ph i xác đ nh m t thông s cho truy n tin đ đ m b o sai s
ch p nh n đ c và đ ng th i t c đ truy n cũng không quá ch m.
Khái ni m “dung l ng” kênh truy n là khái ni m r t c b n c a lý thuy t truy n tin và là m t đ i

l ng v t lý đ ng th i cũng là đ i l ng toán h c (có đ n v là bit). Nó cho phép xác đ nh t c đ
truy n t i đa c a m i kênh truy n. Do đó, d a vào dung l ng kênh truy n, ng i ta có th chỉ ra
t c đ truy n tin đ ng th i v i m t ph ng pháp truy n có sai s cho phép.
V n đ sinh mã
T kỹ thu t truy n tin trên cho ta th y quá trình sinh mã và gi i mã đ c mô t nh sau: m t đ n
v thông tin nh n đ c đ u vào s đ c gán cho m t ký hi u trong b ký hi u sinh mã. M t ký
hi u mã đ c gán n l n l p l i (d a vào dung l ng c a kênh truy n, ta có th xác đ nh đ c n).
Thi t b sinh mã (Coding device/ Encoder) s th c hi n quá trình sinh mã.
Nh v y, m t đ n v thông tin t ngu n phát tin s đ c thi t b sinh mã gán cho m t dãy n ký
hi u mã. Dãy ký hi u mã c a 1 đ n v thông tin đ c g i là m t t mã (Code word). Trong tr ng
h p t ng quát, ng i ta có th gán m t kh i ký t mã cho m t kh i thông tin nào đó và đ c g i
là m t t mã.
V n đ gi i mã
cu i kênh truy n, m t thi t b gi i mã (Decoding device/ Decoder) s th c hi n quá trình ng c
l i nh sau: ki m tra dãy ký hi u mã đ quy t đ nh gi i mã v m t t mã và đ a nó v d ng kh i
tin ban đ u.
Ví d :
Kh i tin ban đ u : 01010101
Kh i ký hi u mã đ u truy n (l p 3 l n): 000111000111000111000111.
Kh i ký hi u mã đ u nh n : 001110100111011001000111
Kh i tin nh n đ c cu i cùng : 01011001 (sai 2 bit so v i kh i tin ban đ u)
Do đó làm sao đ đua kh i tin nh n đ c v kh i tin ban đ u 01010101, đây chính là công vi c
c a b gi i mã (Decoder).
M t v n đ quan tr ng c n l u ý là ph i đ ng b gi a t c đ n p thông tin (phát tín hi u) v i t c

đ truy n tin. N u t c đ n p thông tin bằng ho c l n h n so v i t c đ truy n tin c a kênh, thì
c n ph i gi m t c đ n p thông tin sao cho nh h n t c đ truy n tin.
CH NG 2: Đ ĐO L NG TIN
M c tiêu: trình bày các khái ni m v đ đo l ng tin ch a bi t và đã bi t v m t bi n ng u nhiên
X. Tính toán các l ng tin này thông qua đ nh nghĩa và các tính ch t c a Entropy t m t hay
nhi u bi n ng u nhiên.
BÀI 2.1: ENTROPY

M c tiêu
Sau khi hoàn t t bài h c này b n có th :
- Hi u đ c các khái ni m Entropy,
- Bi t Entropy c a m t s ki n và Entropy c a m t phân ph i,
- Hi u Đ nh lý d ng gi i tích c a Entropy,
- Bi t Bài toán v cây tìm ki m nh phân và
- Làm ki n th c c s đ hi u và h c t t các bài h c ti p theo.
Ví d v entropy
Tr c h t, ta c n tìm hi u m t ví d v khái ni m đ do c a m t l ng tin d a vào các s ki n
hay các phân ph i xác su t ng u nhiên nh sau:
Xét 2 BNN X và Y có phân ph i sau:
X={1, 2, 3, 4, 5} có phân ph i đ u hay p(X=i) = 1/5.

Y={1, 2} cũng có phân ph i đ u hay p(Y=i) = 1/2.
B n thân X và Y đ u mang m t l ng tin và thông tin v X và Y ch a bi t do chúng là ng u

nhiên. Do đó, X hay Y đ u có m t l ng tin không chắc chắn và l ng tin chắc chắn, t ng c a 2
l ng tin này là không đ i và th c t nó bằng bao nhiêu thì ta ch a th bi t. L ng tin không chắc
chắn c a X (hay Y) đ c g i là Entropy.
Tuy nhiên, n u X và Y có t ng quan nhau thì X cũng có m t ph n l ng tin không chắc chắn
thông qua l ng tin đã bi t c a Y (hay thông tin v Y đã đ c bi t). Trong tr ng h p này, m t
ph n l ng tin không chắc chắn c a thông qua l ng tin đã bi t c a Y đ c g i là Entropy có
đi u ki n.
Nh n xét v đ đo l ng tin
Rõ ràng, ta c n ph i xây d ng m t đ i l ng toán h c r t c th đ có th đo đ c l ng tin ch a
bi t t m t bi n ng u nhiên. M t cách tr c quan, l ng tin đó ph i th hi n đ c các v n đ sau:
M t s ki n có xác su t càng nh thì s ki n đó ít x y ra, cũng có nghĩa là tính không chắc chắn
càng l n. N u đo l ng tin c a nó thì nó cho m t l ng tin không bi t càng l n.
M t t p h p các s ki n ng u nhiên (hay Bi n ng u nhiên) càng nhi u s ki n có phân ph i càng
đ u thì tính không chắc chắn càng l n. N u đo l ng tin c a nó thì s đ c l ng tin không bi t
càng l n. Hay l ng tin chắc chắn càng nh .
M t phân ph i xác su t càng l ch nhi u (có xác xu t r t nh và r t l n) thì tính không chắc chắn
càng ít và do đó s có m t l ng tin ch a bi t càng nh so v i phân ph i xác su t đ u hay l ng
tin chắc chắn c a nó càng cao.
Khái ni m entropy
Trong ti ng vi t ta ch a có t t ng đ ng v i t Entropy, tuy nhiên chúng ta có th t m hi u
hi u thoáng qua tr c khi đi vào đ nh nghĩa ch c ch v m t toán h c c a Entropy nh sau:
Entropy là m t đ i l ng toán h c dùng đ đo l ng tin không chắc (hay l ng ng u nhiên) c a

m t s ki n hay c a phân ph i ng u nhiên cho tr c. Hay m t s tài li u ti ng anh g i là
Uncertainty Measure.
Entropy c a m t s ki n
Gi s có m t s ki n A có xác su t xu t hi n là p. Khi đó, ta nói A có m t l ng không chắc
chắn đ c đo b i hàm s h(p) v i p ⊆ [0,1]. Hàm h(p) đ c g i là Entropy n u nó tho 2 tiêu đ
toán h c sau:
Tiên đ 01: h(p) là hàm liên t c không âm và đ n đi u gi m.

Tiên đ 02: n u A và B là hai s ki n đ c l p nhau, có xác su t xu t hi n l n l t là pA và pB. Khi
đó, p(A,B) = pA.pB nh ng h(A,B) = h(pA) + h(pB).
Entropy c a m t phân ph i
Xét bi n ng u nhiên X có phân ph i:
X x1 x2 x3 … xM
P p1 p2 p3 … pM
N u g i Ai là s ki n X=xi, (i=1,2,3,..) thì Entropy c a Ai là: h(Ai)= h(pi)

G i Y=h(X) là hàm ng u nhiên c a X và nh n các giá tr là dãy các Entropy c a các s ki n X=xi,
t c là Y=h(X)={h(p1), h(p2), …, h(pn)}.
V y, Entropy c a X chính là kỳ v ng toán h c c a Y=h(X) có d ng:

H(X)=H(p1, p2, p3, …,pn) = p1h(p1)+ p2h(p2)+…+pnh(pn).
T ng quát:
H ( X ) = ∑ p i h( pi )
n
i =1
Đ nh lý d ng gi i tích c a Entropy
Đ nh lý: Hàm H(X) = H(p1, p2,...,pM) = C ∑ pi log( pi )

M
i =1
C = const >0
C s logarithm là b t kỳ.
B đ : h(p)=-Clog(p).
Tr ng h p C=1 và c s logarithm = 2 thì đ n v tính là bit.
Khi đó: h(p)=-log2(p) (đvt: bit) và
H(X) = H(p1 , p 2 ,..., p M ) = −∑ pi log 2 ( pi )

M
i =1
Qui c trong cách vi t: log(pi)= log2(pi)
Ví d minh h a
N u s ki n A có xác su t xu t hi n là 1/2 thì h(A)=h(1/2)= -log(1/2) = 1 (bit)
Xét BNN X có phân ph i sau:
X x1 x2 x3
P 1/2 1/4 1/4
H(X) = H(1/2, 1/4, 1/4) = -(1/2log(1/2)+1/4log(1/4)+1/4log(1/4)) =3/2 (bit)
Bài toán v cây tìm ki m nh phân-Đ t v n đ
Gi s , tìm 1 trong 5 ng i có tên bi t tr c s xu t hi n theo phân ph i sau:
X x1 x2 x3 x4 x5
P 0,2 0,3 0,2 0,15 0,15
Trong đó: x1, …x5 l n l t là tên c a 5 ng i mà ta c n nh n ra v i cách xác đ nh tên bằng câu
h i đúng sai (yes/no).
S đ d i đây minh h a cách xác đ nh tên c a m t ng i:
Yes x1
X=x1?
X=x1/x2? Yes No x2
No Yes x3
X=x3?
Yes x4
X=x4?
No
No x5
Bài toán v cây tìm ki m nh phân - Di n gi i

Theo s đ trên:
Đ tìm x1, x2, x3 v i xác su t t ng ng là 0.2, 0.3, 0.2 ta chỉ c n t n 2 câu h i.
Đ tìm x4, x5 v i xác su t t ng ng 0.15, 0.15 thì ta c n 3 câu h i.
V y:
S câu h i trung bình là: 2 x (0,2+0,3+0,2) + 3 x (0,15+0,15) = 2.3
M t khác: Entropy c a X: H(X)= H(0.2, 0.3, 0.2, 0.15, 0.15)=2.27.
Ta luôn có s câu h i trung bình luôn ≥ H(X) (theo đ nh lý Shannon s trình bày sau). Vì s câu
h i trung bình trong tr ng h p này x p sỉ H(X) nên đây là s câu h i trung bình t i u đ tìm ra
tên chính xác c a m t ng i. Do đó, s đ tìm ki m trên là s đ t i u.
Sinh viên t cho thêm 1 hay 2 s đ tìm ki m khác và t di n gi i t ng t - xem nh bài t p.
Bài t p
Tính H(X) v i phân ph i sau:
X x1 x2 x3
P 1/3 1/3 1/3
Tính H(Y) v i phân ph i sau:
Y x1 x2 x3 x4
P 1/6 2/6 1/6 2/6
BÀI 2.2: CÁC TÍNH CH T C A ENTROPY

M c tiêu:
- Hi u các tính ch t c b n c a Entropy,
- Hi u đ nh lý c c đ i c a Entropy,
- V n d ng gi i m t s bài toán v Entropy,
- Làm c s đ v n d ng gi i quy t các bài toán tính dung l ng kênh truy n.
Các tính ch t c b n c a Entropy

Xét bi n ng u nhiên X = {x1, x2, …, xM}. Entropy c a bi n ng u nhiên X có các tính ch t:
1 1
1. Hàm s f(M) = H( ,…, ) đ n đi u tăng.
M M
2. Hàm s f(ML) = f(M)+f(L).
3. H(p1, p2, …, pM) = H(p1 + p2 +…+pr, pr+1+ pr+2+…+ pM)
+ (p1 + p 2 + … + p r )H( r 1 ,..., r r )
∑i=1 pi ∑i =1 pi
p p
+ (p r +1 + p r + 2 + … + p M )H(
∑i=r +1 pi ∑i=r +1 pi
pr +1 pM
M
,..., M
)
4. H(p, 1-p) là hàm liên t c theo P.
Minh h a tính ch t 1 và 2
Minh h a tính ch t 1:
Trong tr ng h p bi n ng u nhiên X có phân ph i đ u
Entropy c a X nh sau :
⎛ 1 1 ⎞
H (X ) = H ⎜ ⎟ = − − ,..., − = −M
1 1 1 1 1 1 1 1 1
⎝M M M ⎠
, ,L , log log log log
m M M M M M M M
=> H(X) = − log = log M là hàm đ n đi u tăng

1
M
Trong tr ng h p 2 bi n ng u nhiên X, Y đ c l p có phân ph i đ u v i BNN X có M s
ki n và BNN Y có L s ki n.
G i f(M), f(L) l n l t là Entropy c a X, c a Y. Theo tính ch t 2 c a Entropy ta có
f(ML)=f(M)+f(L)
Minh h a tính ch t 3 và 4
Xét con xúc sắc có 6 m t v i xác su t xu t hi n các m t đ c cho trong b ng sau:
X x1 x2 x3 x4 x5 x6
P 10% 20% 25% 25% 15% 5%
Ta có th gom các s ki n x1, x2, x3 l i thành m t s ki n m i là x123 có xác su t xu t hi n

là 55%, gom s ki n x5 và x6 l i thành s ki n x56 có xác su t 20%.
Ta đ c m t nhi n ng u nhiên m i X* có phân ph i sau:
X* x123 x4 X56
P 55% 25% 20%
Đ n đây các b n có th áp d ng công th c đ tính, so sánh các Entropy và nh n xét tính

ch t 3. Ph n này xem nh bài t p cho sinh viên.
Đ hi u tính ch t th 4, ta xét d ng đ th c a hàm s H(p, 1-p ):
Rõ ràng H(p, 1-p) là m t hàm liên t c theo p.
Đ nh lý c c đ i c a entropy
Đ nh lý: H(p1, p2, …,pM)≤ log(M)
Trong đó: đ ng th c x y ra khi và chỉ khi p1=…= pM= 1/M
B đ : cho 2 b {p1, p2, …,pM} và {q1, q2,…,qM} là các b s d ng b t kỳ và
∑ pi = ∑ qi
M M
i =1 i =1
Khi đó, ta có H(p1, p2, …,pM)= − ∑ pi log 2 pi ≤ −∑ p i log 2 q i (*)

M M
i =1 i =1
Đ ng th c x y ra khi pi=qi v i ∀i=1,..,M.
Ch ng minh đ nh lý c c đ i c a Entropy
Ch ng minh b đ :
Theo toán h c ta luôn có th ch ng minh đ c ln(x)≤ x-1 v i x>0 và đ ng th c đúng khi x=1.
Đ t x= qi/pi Suy ra ln(qi/pi)≤ qi/pi –1 (và đ ng th c đúng khi qi=pi v i m i i).
⇔ ∑ pi ln i ≤ ∑ (qi − pi ) = 1 − 1 = 0
M M
q
i =1 pi i =1
⇔ − ∑ pi ln pi ≤ −∑ pi lnqi (đ ng th c x y ra khi qi=pi).

M M
(1)
i =1 i =1
T (1) và (2), ta có − ∑ p i log pi ≤ −∑ p i logq i (đ ng th c x y ra khi qi=pi.)

Theo toán h c ta có lnx = log2x / log2e (2)
M M
i =1 i =1
Ch ng minh đ nh lý:
Đ t qi 1 , ∀i
M
T b đ , ta có:
− ∑ p i log 2 pi ≤ −∑ pi log 2 = log 2 M ∑ pi = log 2 M
M M M
1
i =1 i =1 M i =1
và đ ng th c chỉ x y ra khi pi= 1 , ∀i (đpcm).

M
Bài t p
Bài 1: Cho 2 bi n ng u nhiên X, Y đ c l p nhau có phân ph i sau:
X x1 x2
P 1/2 1/2
Y y1 y2 y3 y4
P 1/4 1/4 1/4 1/4
Tính H(X), H(Y).

Bài 2: Ki m tra l i k t qu c a c a bài 1 bằng tính ch t 2.
Bài 3: Cho bi n ng u nhiên X có phân ph i sau:
X x1 x2 x3 x4 x5 x6
P 10% 20% 25% 25% 15% 5%
Ta có th gom các s ki n x1, x2, x3 l i thành m t s ki n m i là x123 có xác su t xu t hi n là 55%,

gom s ki n x5 và x6 l i thành s ki n x56 có xác su t 20%.
Ta đ c m t nhi n ng u nhiên m i X* có phân ph i sau:
X* x123 x4 x56
P 55% 25% 20%
- Tính entropy c a X, X* và ki m tra l i tính ch t 3.

- Ki m tra l i đ nh lý c c đ i t d li u cho trên.
BÀI 2.3: ENTROPY C A NHI U BI N

M c tiêu
- Hi u bi t các đ nh nghĩa Entropy c a nhi u bi n và Entropy có đi u ki n,
- Hi u m i quan h gi a H(X,Y) v i H(X) và H(Y) khi X, Y đ c l p,
- Hi u m i quan h gi a H(X,Y) v i H(X) và H(Y) khi X, Y t ng quan,
- V n d ng m i quan h g a các Entropy đ tính các Entropy m t cách hi u qu ,
- V n d ng Entropy có đi u ki n đ làm c s tính l ng tin trong bài h c k ti p
Đ nh nghĩa Entropy c a nhi u bi n

Gi s : X và Y là 2 bi n ng u nhiên cho tr c v i p j = p(X=xi,Y=yj) (∀ i=1,..,M và j=1,…,L).
Khi đó, Entropy H(X,Y) có d ng:

H(X, Y) = −∑∑ p ( xi , y j ) log 2 p ( xi , y j )
M L
i =1 j =1
H(X, Y) = −∑∑ p ij log 2 p ij

Hay
M L
i =1 j =1
H(x 1 , …, x n ) = - ∑ p( x ,..., x
M t cách t ng quát:
1 n ) log 2 p ( x1 , x 2 ,..., x n )
X 1 ,L, X n
Ví d Entropy c a nhi u bi n
Cho 2 BNN X và Y đ c l p nhau và có các phân ph i:
X=1 0 1
P 0.5 0.5
Y 0 1 2
P 0.25 0.5 0.25
Tính H(X,Y).
- L p phân ph i c a P(X,Y)
X,Y X=0,Y=0 X=0,Y=1 X=0,Y=2 X=1,Y=0 X=1,Y=1 X=1,Y=2

P(X,Y) 0.125 0.25 0.125 0.125 0.25 0.125
- H(X,Y) =H(0.125, 0.25, 0.125, 0.125, 0.25, 0.125)=2.5 (Bit)
Đ nh nghĩa Entropy có đi u ki n
Entropy c a Y v i đi u ki n X=xi (i=1,..,M) đ c đ nh nghĩa là:
H (Y / X = xi ) = −∑ p ( y j / xi ) log p ( y j / xi )
L
j =1
Entropy c a Y v i đi u ki n X x y ra đ c đ nh nghĩa là:
H (Y / X ) = ∑ p ( xi ) H (Y / X = xi )
M
i =1
Ví d Entropy có đi u ki n
Xét bi n ng u nhiên X và bi n ng u nhiên Y có t ng quan nhau. Các phân ph i nh sau:
X 1 . 2
P 0.5 0.5
Phân ph i c a Y có đi u ki n X:
Y/X=1 0 1 2
P 0.25 0.5 0.25
Y/X=2 0 1 2
P 0 0 1
Entropy c a Y/X=1 và Y/X=2 nh sau :

H(Y/X=1)=H(0.25, 0.5 , 0.25)= -0.25 log0.25 – 0.5 log0.5-0.25 log0.25
=0.5 + 0.5 + 0.5= 1.5 (Bit)
H(Y/X=2)= H(0; 0; 1)= 0 (Bit)
Entropy c a Y khi X x y ra:

H(Y/X)=P(X=1) H(Y/X=1)+ P(X=2) H(Y/X=2)=(0.5x1.5) + ((0.5x0)=0.75 (Bit).
Quan h gi a H(X,Y) v i H(X) và H(Y) khi X, Y đ c l p

Đ nh lý 1: H(X,Y)≤ H(X)+H(Y) và đ ng th c x y ra khi X, Y đ c l p
Ch ng minh:
P ( xi ) = ∑ p ( xi , y j )
Ta có:
L
j =1
P ( y i ) = ∑ p ( xi , y j )
M
i =1
H ( X ) = −∑ p ( xi ) log 2 p ( xi ) = −∑∑ p ( xi , y j ) log 2 p ( xi )

M M L
i =1 i =1 j =1
H (Y ) = −∑ p ( y j ) log 2 p ( y j ) = −∑∑ p ( xi , y j ) log 2 p ( y j )

L M L
j =1 i =1 j =1
⇒ H ( X ) + H (Y ) = −∑∑ p ( xi , y j )[log 2 p ( xi ) + log 2 p ( y j )]

M L
i =1 j =1
⇒ H ( X ) + H (Y ) = −∑∑ p ( xi , y j )[log 2 p ( xi ) p ( y j )] (1)

M L
i =1 j =1
Đ t qij =p(xi)p(yj)
⇒ −∑ ∑ p ij log 2 q ij ≥ −∑∑ p ij log 2 p ij

M L M L
(2)
i =1 j = i i =1 j =1
Đ ng th c x y ra khi p(xi, yj)=pij =qij =p(xi)p(yj) hay X , Y đ c l p nhau.
(Theo b đ đ nh lý c c đ i)
H ( X , Y ) = −∑∑ p ( xi , y j ) log 2 p ( xi , y j ) = −∑∑ pij log 2 pij

M t khác:
M L M L
(3)
i =1 j =1 i =1 j =1
T (1), (2) và (3), ta có H(X,Y)≤ H(X)+H(Y) và đ ng th c x y ra khi X, Y đ c l p (đpcm)
H qu :
H(X1, …, Xn) ≤ H(X1)+…+H(Xn)
H(X1,…Xn; Y1,…,Yn) ≤ H(X1,…Xn)+ H(Y1,…,Yn)
Quan h gi a H(X,Y) v i H(X) và H(Y) khi X, Y t ng quan
Đ nh lý 2: H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y).
Đ nh lý 3: H(Y/X)≤ H(Y) và D u đ ng th c x y ra khi và chỉ khi X và Y đ c l p nhau.
Ch ng minh đ nh lý 2:
H(X, Y) = - ∑∑ p ( xi , y j ) log 2 p ( xi , y j )
M L
i =1 j =1
= - ∑∑ p ( xi , y j ) log 2 [ p ( xi ). p ( y j / xi )]
M L
i =1 j =1
= −∑ ∑ p ( xi , y j ) log 2 p ( xi ) − ∑∑ p ( xi , y j ) log 2 p ( y j / xi )
M L M L
i =1 j =1 i =1 j =1
= H(X) + H(Y/X)
T ng t ta có: H(X,Y)=H(Y)+H(X/Y)
Ch ng minh đ nh lý 3:
T đ nh lý 1 và đ nh lý v quan h gi a các Entropy, ta có:
H(X,Y)=H(X)+H(Y/X)≤ H(X)+ H(Y) => H(Y/X) ≤ H(Y).
H(X) H(Y)
H(X/Y)
H(Y/X)
Sinh viên t ch ng minh
Bài t p
Xét BNN X và BNN Y có t ng quan nhau. Các phân ph i nh sau:
X 1 . 2
P 0.5 0.5
Phân ph i c a Y có đi u ki n X:
Y/X=1 0 1 2
P 0.25 0.5 0.25
Y/X=2 0 1 2
P 0 0 1
1. Tính các Entropy sau: H(X), H(Y).

2. Tính các Entropy có đi u ki n sau: H(X/Y), H(Y/X).
3. Tính các Entropy sau: H(X,Y).
4. T k t qu câu 1,2 và 3 hãy minh h a các đ nh lý 1, 2 và 3 cho bài h c.
BÀI 2.4: MINH H A CÁC ENTROPY

M c tiêu
- Bi t đ c Yêu c u c a bài toán,
- Bi t cách xác đ nh các phân ph i ng u nhiên c a bài toán,
- V n d ng các bài h c tr c đ tính các Entropy H(X), H(Y) và H(X,Y),
- V n d ng các bài h c tr c đ tính các Entropy có đi u ki n H(X/Y) và H(Y/X),
- Nh n xét và so sánh quan h gi a các Entropy
- Ngoài ra còn giúp b n ôn t p và hi u rõ h n các công th c tính Entropy.
Yêu c u c a bài toán

M c dù ng i t ch c ch i có th “ăn gian” nh ng quá trình trao đ i 2 đ ng ti n cho nhau là ng u

nhiêu, v y li u ng i t ch c ch i có th “ăn gian” hoàn toàn đ c không? Hay l ng tin bi t và
ch a bi t c a s ki n l y m t đ ng ti n t 2 đ ng ti n nói trên đ c hi u nh th nào?
Ta th xét m t tr ng h p sau: n u ng i t ch c ch i l y ng u nhiên 1 đ ng ti n và sau đó th c

hi n vi c tung đ ng ti n l y đ c 2 l n. Qua 2 l n tung đ ng ti n, ta đ m đ c s đ u hình xu t
hi n. D a vào s đ u hình xu t hi n, ta có th phán đoán đ c ng i t ch c ch i đã l y đ c
đ ng ti n nào.
Ch ng h n: N u s đ u hình đ m đ c sau 2 l n t ng là 1 thì đ ng ti n đã l y đ c là đ ng ti n

th t, ng c l i n u s đ u hình đ m đ c là 2 thì đ ng ti n đã l y đ c có th là th t hay cũng có
th là gi . Nh v y, ta đã nh n đ c m t ph n thông tin v lo i đ ng ti n qua s đ u hình đ m
đ c sau 2 l n tung. Ta có th tính đ c l ng tin đó bằng bao nhiêu? (Việc tính lượng tin này sẽ
được thảo luận sau).
Xác đ nh các phân ph i ng u nhiên c a bài toán

Đ t X là bi n ng u nhiên v lo i đ ng ti n.
Phân ph i c a X:
X 1 2
P 0.5 0.5
Đ t bi n ng u nhiên Y là s đ u hình đ m đ c sau 2 l n tung:
Phân ph i c a Y khi nh n đ c đ ng ti n có 1 m t có đ u hình (Y/X=1)
Y/X=1 0 1 2
P 0.25 0.5 0.25
Phân ph i c a Y khi nh n đ c đ ng ti n có 2 m t đ u có đ u hình (Y/X=2)

Y/X=2 0 1 2
P 0 0 1
Tìm phân ph i c a Y:
P(Y=0) = p(X=1)p(Y=0/X=1)+p(X=2)p(Y=0/X=2) = 0,5 x 0,25 +0,5 x 0 =0.125
P(Y=1) = p(X=1)p(Y=1/X=1)+p(X=2)p(Y=1/X=2) = 0,5 x 0,5 +0,5 x 0 =0.250
P(Y=2) = p(X=1)p(Y=2/X=1)+p(X=2)p(Y=2/X=2) = 0,5 x 0,25 + 0,5 x 1=0.625
Y 0 1 2
P 0.125 0.25 0.625
Minh h a Entropy H(X), H(Y) và H(X,Y)

Entropy c a X:
H(X) = H(0.5, 05)
= -(0.5)log(0.5) -(0.5)log(0.5) = 1 (bit)
Entropy c a Y:
H(X) = H(0.125, 0.25, 0.625)
= -(0.125)log(0.125) + (0.25)log(0.25) + (0.625)log(0.625) = 1.2988 (bit)
Entropy c a X và Y: H(X,Y)
Xem nh bài t p dành cho các b n sinh viên
V y, Entropy c a Y có đi u ki n X: H(Y/X)= ∑ p ( xi ).H (Y / X = xi )

Entropy c a Y/X là trung bình c a các entropy Y/X=xi.
M
i =1
T ng t : H(Y,Z/X), H(Z/X,Y)
Minh h a Entropy H(X/Y) và H(Y/X)
Tính Entropy c a Y khi bi t X: H(Y/X)

H(Y/X=1) = H(0.25, 0.5 , 0.25)
= -(0.25log0.25 + 0.5log0.5 + 0.25log0.25)= 1.5 (bit)
H(Y/X=2)= H(0, 0, 1)= 0
H(Y/X)= p(X=1)H(Y/X=1)+ p(X=2)H(Y/X=2)= 0.5 x 1.5 + 0.5 x 0= 0.75 (bit)
Tính Entropy c a X khi bi t Y: H(X/Y)

Xem nh bài t p dành cho các b n sinh viên (G p ý: b n nên l p các phân ph i cho các
tr ng h p (X/Y=0), (X/Y=1) và (X/Y=2).
Minh h a quan h gi a các Entropy

Xem nh bài t p dành cho các b n sinh viên.
G i ý: sau khi b n tính H(X,Y) và H(X/Y), b n d a vào các đ nh lý 1,2 và 3 cùng v i các k t qu
đã tính đ c đ so sánh và minh h a.
BAI 2.5: ĐO L NG TIN (MESURE OF INFORMATION)

M c tiêu
- Bi t bài toán tính l ng tin,
- Hi u đ nh nghĩa l ng tin,
- Bi t cách tính l ng tin,
- Có th v n d ng đ tính l ng tin cho các bài toán t ng t .
Đ t v n đ bài toán
M c dù ng i t ch i có th “ăn gian” nh ng quá trình trao đ i 2 đ ng ti n cho nhau là ng u

nhiêu, v y li u ng i t ch c ch i có th “ăn gian” hoàn toàn đ c không? Ta th xét m t tr ng
h p sau: n u ng i ch i l y ng u nhiên 1 đ ng ti n và sau đó th c hi n vi c tung đ ng ti n l y
đ c 2 l n. Qua 2 l n tung đ ng ti n, ta đ m đ c s đ u hình xu t hi n. D a vào s đ u hình
xu t hi n, hãy tính l ng tin v lo i đ ng ti n l y đ c là bao nhiêu?
Xác đ nh các phân ph i c a bài toán

Đ t bi n ng u nhiên X là lo i đ ng ti n, khi đó phân ph i c a X có d ng :
X 1 2
P 0.5 0.5
Đ t bi n ng u nhiên Y là s đ u hình đ m đ c sau 2 l n tung. Khi đó ta có th xác đ nh đ c

phân ph i c a Y trong 2 tr ng h p sau.
Tr ng h p 1: Phân ph i c a Y khi bi t đ ng ti n là th t (X=1) có d ng:
Y/X=1 0 1 2
P 0.25 0.5 0.25
Tr ng h p 2: Phân ph i c a Y khi bi t đ ng ti n là gi (X=2) có d ng:
Y/X=2 0 1 2
P 0 0 1
Ta có th tính d dàng phân ph i c a Y nh sau:

Y 0 1 2
P 0.125 0.25 0.625
Nh n xét d a theo entropy

T các b ng phân ph i trên, ta có:
Entropy c a Y:
H(Y) = H(0.125, 0.25, 0.625) = 1.3 (bit)
Entropy c a Y khi bi t X
H(Y/X=1) = H(0.25, 0.5 , 0.25)= 1.5 (bit)
H(Y/X=2)= H(0, 0, 1)= 0
H(Y/X)= p(X=1)H(Y/X=1)+ p(X=2)H(Y/X=2) = 0.75 (bit)
V y, H(Y) > H(Y/X)
Đ nh nghĩa l ng tin
T nh n xét v quan h gi a các entropy trên, ta có th đ nh nghĩa l ng tin nh sau:
Đ nh nghĩa: L ng tin (hay thông l ng) c a X khi Y x y ra là l ng chênh l ch gi a l ng

không chắc chắn c a X và l ng không chắc chắn c a X khi Y x y ra có quan h v i X.
Ta có th hi u khái ni m này nh sau: X và Y là 2 bi n ng u nhiên nên chúng có 2 l ng tin

không chắc chắn. N u X và Y đ c l p, thì X x y ra không nh h ng t i Y nên ta v n không bi t
gì thêm v X và X gi nguyên l ng không chắc chắn c a nó. Trong tr ng h p này l ng tin v
X khi Y x y ra là bằng 0. N u Y có t ng quan v i X thì khi Y x y ra ta bi t hoàn toàn v Y và
m t ph n thông tin v X. Ph n thông tin đó chính là l ng tin đã bi t v X nh ng v n ch a bi t
h t v X. Bài toán đây là tính l ng tin đã bi t v X khi Y x y ra.
Ký hi u: I(X/Y) = H(X)-H(X/Y) là l ng tin đã bi t v X khi Y đã x y ra.
Chú ý: ta luôn có I(X/Y) = I(Y/X)
Ví d : xét l i ví d trên, ta có l ng tin v X khi bi t Y là

I(X/Y)= I(Y/X)= H(Y) – H(Y/X) = 1.3 – 0.75=0.55 (bit).
Bài t p
1. Th c hi n m t phép th con xúc sắc đ ng ch t đ ng th i v i m t đ ng ti n cũng đ ng ch t.
Trong đó, con xúc sắc có các m t đi m t 1 đ n 6, đ ng ti n m t m t có đ u hình và m t kia
không có đ u hình. Tr c tiên th con xúc sắc, n u s đi m ≤ 4 thì tung đ ng ti n m t l n, ng c
l i thì tung đ ng ti n hai l n. Tính l ng tin v s đi m con xúc sắc khi bi t thông tin v s đ u
hình đ m đ c.
2. Ng i ta th c hi n m t kh o sát trên các sinh viên đ i h c v m i quan h gi a kh năng h c

t p v i s h u ph ng ti n đi l i và tinh th n ái h u. K t qu cho th y:
Trong t ng s sinh viên có 3/4 sinh viên hoàn thành ch ng trình h c và 1/4 không hoàn thành.
Trong s sinh viên hoàn thành ch ng trình h c, 10% có xe con. Ng c l i, trong s sinh viên
không hoàn thành ch ng trình h c có t i 50% có xe con.
T t c sinh viên có xe con đ u tham gia h i ái h u sinh viên. Trong s sinh viên không có xe con
(k c hoàn thành hay không hoàn thành khóa h c) thì 40% sinh viên tham gia h i ái h u sinh
viên.
a. Tìm thông tin v tr ng thái h c t p c a sinh viên khi bi t đi u ki n v ph ng ti n đi l i c a
h .
b. Tìm thông tin v tình tr ng h c t p c a sinh viên khi bi t tinh th n ái h u c a h .
3. Nh ng ng i dân c a m t làng đ c chia làm 2 nhóm A và B. M t n a nhóm A chuyên nói

th t, 3/10 nói d i và 2/10 t tr i tr l i. Trong nhóm B: 3/10 nói th t, 1/2 nói d i và 2/10 t tr i
tr l i. Gi s p là xác su t ch n 1 ng i thu c nhóm A và I(p) = I(Y/X) là l ng tin v ng i nói
th t sau khi đã ch n nhóm, tính I(p), tìm p* sao I(p*) = Max(I(p) và tính I(p*).
CH NG 3: SINH MÃ TÁCH Đ C
(Decypherable Coding)
M c tiêu:
Phân này đ c p đ n bài toán mã hóa (coding) các giá tr c a m t bi n X. Khi mã các giá tr
c a X ng i ta ph i s d ng b ng ký t mã (Coding Character Table) hay b ng ch cái (Code
Alphabet). Nh v y, m t giá tr x c a X s đ c mã thành m t t mã (Code Word) w d i d ng
m t dãy các ký t mã v i đ dài là n ký t . Trong truy n tin, m t dãy các giá tr c a X đ c phát
sinh và đ c mã thành m t dãy liên t c các t mã hay m t dãy các ký t mã l y t b ng ký t
mã. V n đ c n gi i quy t là:
1. Khi nh n m t dãy ký t mã liên t c đó thì ta có th gi i mã thành m t dãy các giá tr duy

nh t c a X hay không ? Nói cách khác, dãy ký t mã này có tách đ c thành các t mã
m t cách duy nh t hay không ?
2. Chỉ ra ph ng pháp xây d ng mã tách đ c t i u.
BÀI 3.1: KHÁI NI M V MÃ TÁCH Đ C

M c tiêu
- Bi t yêu c u c a bài toán sinh mã,
- Hi u khái ni m v b ng mã tách đ c và b ng mã không tách đ c,
- Hi u khái ni m v b ng mã t c th i,
- Hi u gi i thu t ki m tra tính tách đ c c a m t b ng mã,
- V n d ng gi i thu t ki m tra tính tách đ c c a m t b ng mã đ ki m tra xem m t b ng
mã có ph i là b ng mã tách đ c hay không.
Đ t v n đ bài toán sinh mã

Gi s ngu n tin X xu t hi n và đ c ghi l i thông qua m t thi t b đ c bi t. Ch ng h n nh nh
đ c ghi l i bằng máy nh, âm thanh đ c ghi l i bằng máy ghi âm, … Qua kênh truy n, nh ng
thông tin này c n ph i đ c mã hóa cho phù h p. Đ có th mã hóa ng i ta c n m t b ng ch cái
g m các ch cái quy đ nh tr c (ch ng h n b ng ch cái la tinh, b ng mã nh phân, … ). M i giá
tr c a X sau đó đ c mã d i d ng m t dãy h u h n các ch cái và ta g i dãy h u h n các ch
cái gán cho m t giá tr c a x là m t t mã.
Ta xét BNN X={x1, x2, …,xn} có phân ph i {p1, p2, …, pn} đ c quan sát liên t c và đ c l p. Dãy
các giá tr nh n đ c g i là thông báo (Message) có d ng xi1xi2…xin. T p h p A={a1, a2, …, an} là
t p h p ký t mã (Code Characters) hay là b ng ch cái (Code Alphabet) dùng đ sinh mã. M t
giá tr xi ∈ X đ c gán b i m t dãy h u h n các ký t mã đ c g i là t mã (Code word). T p
h p g m t t c các t mã gán cho t t c các giá tr c a X đ c g i là b mã hay b ng mã (Code).
Các t mã ph i khác nhau t ng đôi m t.
B mã đ c g i là tách đ c n u nh t m t dãy các ký t mã nh n đ c liên t c (đ c mã hóa

t b mã này), ta luôn luôn gi i mã đ c v i k t qu duy nh t là dãy các giá tr g c c a X.
Shannon (1948) l n đ u tiên đã đ a ra đ nh lý c s v sinh mã tách đ c. Mc Millan (1956) đã

ch ng minh đ nh lý v đi u ki n c n và đ c a b ng mã tách đ c. Nh ng v n đ sinh mã tách
đ c chỉ đ c xét m t cách chuẩn m c b i Feinstein (1958), Abramson (1963) và Fano (1961).
Sardinas(1960) và Patterson (1963) đã đ a ra đ nh lý v gi i thu t ki m tra tính tách đ c c a m t
b ng mã. Abramson (1963) đã đ a ra khái ni m b ng mã t c th i.
Trong ph m vi bài gi ng này, bài toán sinh mã t i u đ c đ t ra đây là tìm ra m t ph ng pháp

sinh mã sao cho đ dài trung bình c a các t mã trong b mã là nh nh t. Nghĩa là, n u giá tr xi
đ c gán b i t mã có đ dài ni thì bài toán sinh mã ph i th a:
∑pn → Min
n
i =1
i i
Huffman (1950) đã đ a ra qui trình xây d ng m t b ng mã t i u th a yêu c u này.
Khái ni m v b ng mã không tách đ c

B ng mã không tách đ c là b ng mã mà khi mã hóa thông báo Msg ta s nh n đ c m t dãy các
t mã ws, và khi gi i mã dãy các t mã ws thì ta có th nh n đ c nhi u thông báo Msg khác
nhau.
Ví d : Xét bi n ng u nhiên X={x1, x2, x3, x4} có b ng mã W={w1=0, w2=1, w3=01, w4=10}.
Gi s thông báo ngu n có n i dung: x1x2x3x4x3x2x1. Khi đó dãy mã t ng ng vi t t W có

d ng: 0101100110.
N u gi i mã tu n t t trái qua ph i ta nh n k t qu : x1x2x1x2x2x1x1x2x2x1. Nh ng n u bằng

ph ng pháp khác ta có th nh n đ c k t qu : x3x3x4x3x4 và nhi u thông báo khác n a.
Nh n xét: B ng mã gi i mã không tách đ c là b ng mã mà trong đó t n t i ít nh t m t t mã

này là mã khóa c a m t hay nhi u t mã khác trong b mã (ví d t mã w1=0 hay w2=1 là mã
khóa c a w3).
B ng mã tách đ c
B ng mã tách đ c là b ng mã mà khi mã hóa thông báo Msg ta s nh n đ c dãy các t mã ws,
và khi gi i mã dãy các t mã ws thì ta chỉ nh n đ c m t thông báo duy nh t là Msg ban đ u.
Ví d : Xét bi n ng u nhiên X={x1, x2} có b ng mã t ng ng W={w1=0, w2=01}.
Ph ng pháp gi i mã đ c s d ng nh sau: chỉ gi i mã khi nào đã nh n đ c đo n mã v i đ

dài bằng đ dài c a t mã dài nh t.
Gi s dãy mã nh n đ c (c n gi i mã) là: 0010000101001.

S d ng ph ng pháp gi i mã trên ta nh n đ c duy nh t dãy thông báo g c:
x1x2x1x1x1x2x2x1x2.
Có th chi ti t hóa các b c gi i mã dãy t mã trên nh sau:
Nh n đ c đo n 00 -> Gi i ra x1 , còn l i 0.
Nh n ti p 1 ->01 -> Gi i ra x2.
Nh n ti p 00 -> Gi i ra x1, còn l i 0.
Nh n ti p 0 -> 00 -> Gi i ra x1, còn l i 0.

Nh n ti p 0 -> 00 -> Gi i ra x1, còn l i 0.
Nh n ti p 1 -> 01 -> Gi i ra x2.
Nh n ti p 01 -> Gi i ra x2.
Nh n ti p 00 -> Gi i ra x1, còn l i 0.
Nh n ti p 1 -> 01 -> Gi i ra x2.
K t qu dãy thông báo là: x1x2x1x1x1x2x2x1x2.
K t lu n: B ng mã tách đ c là b ng mã mà trong đó không t n l i t mã này là mã khóa t mã

khác, tuy nhiên v n có th t n t i t mã này là ti n t (ph n đ u) c a t mã kia.
Khái ni m b ng mã t c th i
B ng mã t c th i là b ng mã mà khi mã hóa thông báo Msg ta s nh n đ c dãy các t mã ws, và
khi gi i mã dãy các t mã ws thì ta chỉ nh n đ c m t thông báo duy nh t là Msg ban đ u.
Abramson đã ch ng minh đ c k t qu sau: B ng mã t c th i là b ng mã không t n t i t
mã này là ti n t c a t mã khác.
Ví d 1: B ng mã W={w1=10; w2=101; w3=100} không ph i b ng mã t c th i vì w1 là ti n t c a

w2 và w3.
Ví d 2: B ng mã W={w1=0, w2=100, w3=101, w4=11} là b ng mã t c th i vì không t n t i t
mã này là ti n t c a t mã khác.
Gi i thu t ki m tra tính tách đ c c a b ng mã

Th t c sau đây do Sardinas (1960), Patterson (1963) và Abramson (1963) đ a ra nhằm ki m tra
xem m t b ng mã nào đó có ph i là b ng mã tách đ c (b ng mã cho phép gi i mã duy nh t) hay
không.
Input: B ng mã W
Output: K t lu n b ng mã tách đ c hay không tách đ c.
Gi i thu t:
Bước khởi tạo: Gán t p h p S0=W.
B c 1: xác đ nh t p h p S1 t S0:
- V i ∀ wi, wj ∈ S0, ta xét: n u wi=wjA (wj là ti n t c a wi) ho c wj=wi A (wi là ti n t

- Kh i t o S1={}
c a wj) thì thêm A (ph n h u t ) vào S1.

B c k: xác đ nh t p h p Sk (k≥2) t t p h p S0 và Sk-1:
- V i ∀ wi∈ S0 và ∀ vj ∈Sk-1, ta xét: n u wi=vjA (vj là ti n t c a wi) ho c vj=wi A (wi là

- Kh i t o: Sk={}
ti n t c a vj) thì thêm A (ph n h u t ) vào Sk.

Đi u ki n đ d ng vòng l p:
N u Sk={} thì d ng và k t lu n b ng mã tách đ c (k≥1).
N u t n t i t mã wi trong Sk hay Sk ∩S0 ≠ ∅ thì d ng và k t lu n b ng mã không tách
đ c.
N u Sk=St<k thì d ng và k t lu n b ng mã tách đ c (k≥1).
Bài toán 1- yêu c u
Bài toán: Ki m tra xem b ng mã W={a, c, ad, abb, bad, deb, bbcde} có ph i là b ng mã tách
đ c hay không?
Áp d ng Gi i thu t ki m tra tính tách đ c c a m t b ng mã:

B c khởi t o: S0={a, c, ad, abb, bad, deb, bbcde}
B c 1: Tính S1
Kh i t o S1={}
Vì a là ti n t c a ad nên đ a ph n h u t “d” vào S1 => S1={d}.
Vì a là ti n t c a abb nên đ a ph n h u t “bb” vào S1 => S1={d, bb}.
Ki m tra đi u ki n d ng: không th a -> qua b c 2.
B c 2: Tính S2 t S0 và S1.
Vì d ∈ S1 là ti n t c a deb ∈ S0 nên đ a ph n h u t “eb” vào S2

Kh i t o S2={}.
Vì bb∈ S1 là ti n t c a bbcde ∈ S0 nên đ a ph n h u t “cde” vào S2

=> S2={eb}
=> S2={eb, cde}

Bài toán 1 - Áp d ng gi i thu t
Vì c∈ S0 là ti n t c a cde ∈ S2 nên đ a ph n h u t “de” vào S3

Kh i t o S3={}.
=> S3={de}
Vì de∈ S3 là ti n t c a deb ∈ S0 nên đ a ph n h u t “b” vào S4

Kh i t o S4={}.
=> S4={b}
+ Vì b∈ S4 là ti n t c a bad ∈ S0 nên đ a ph n h u t “ad” vào S5 => S5={ad}

+ kh i t o S5={}.
+ Vì b∈ S4 là ti n t c a bbcde ∈ S0 nên đ a “bcde” vào S5

=> S5={ad, bcde}
Ki m tra đi u ki n d ng: Vì S5 có ch a t mã ad nên d ng l i và k t lu n đây là b ng mã
không tách đ c.
Bài toán 2
Bài toán: Ki m tra xem b ng mã W={010, 0001, 0110, 1100, 00011, 00110, 11110, 101011} có
ph i là b ng mã tách đ c không?
Áp d ng Gi i thu t ki m tra tính tách đ c c a m t b ng mã:

B c kh i t o và b c 1
- T p h p S0 ={010, 0001, 0110, 1100, 00011, 00110, 11110, 101011}
- T p h p S1 ={1}
Dành cho sinh viên t làm các bu c ti p theo.
K t qu g i ý:
T p h p S2 ={100, 1110, 01011}
T p h p S3={11}
T ph p S4={00, 110}
T ph p S5={01, 0, 011, 110}
T ph p S6={0, 10, 001, 110, 0011, 0110}
T ph p S6 ch a t mã 0110 nên b ng mã này không ph i là b ng mã tách đ c.
Bài t p
1. Hãy cho bi t b ng mã sau có ph i là b ng mã tách đ c hay không?
W={w1=00, w2=01, w3=0010, w4=0111, w5=0110}
2. Hãy l y ví d m t b ng mã tách đ c, và ch ng minh nó là b ng mã tách đ c.
BÀI 3.2: QUAN H GI A MÃ TÁCH Đ C VÀ Đ DÀI

MÃ
M c tiêu
Sau khi hoàn t t bài h c này b n có th hi u:
- Đ nh lý Kraft (1949),
- Đ nh nghĩa cây b c D c K,
- V n đ sinh mã cho cây b c D c K,
- V n d ng đ nh lý Kraff đ ki m tra s t n t i b ng mã tách đ c và sinh b ng mã tách
đ c.
Đ nh lý Kraftn(1949).
G i X={x1, x2,…, xM} là bi n ng u nhiên ch a các giá tr c n truy n có phân ph i là P={p1, p2,
…, pM}.
A={a1, a2,…,aD} là b ký t sinh mã có D ch cái (D đ c g i là c s sinh mã).

Giá tr xi đ c mã hóa thành t mã wi có đ dài là ni.
Đ t N={n1, n2,…,nM} là t p h p đ dài các t mã.
Đ nh lý (Kraft- 1949):
Đi u ki n c n và đ đ t n t i b ng mã t c th i v i đ dài N={n1,n2,…,nM} là
∑D − ni
≤1
M
i =1
∑
Ví d 1: B mã W={w1, w2, w3} v i M=3; n1=1; n2=2; n3=3; D=2
D − ni = 1 + 2 + 3 = < 1
M
1 1 1 7
i =1 2 2 2 8
=> T n t i b ng mã t c th i.
Ví d 2: B mã W={w1, w2, w3} v i M=3; n1=n2=1; n3=2; D=2
∑D − ni
=+ 1 + 2 = >1
M
1 1 1 5
i =1
1
2 2 2 4
=> Không t n t i b ng mã t c th i.
Đ ngh : sinh viên tìm hi u n i dung ti p theo và tr l i gi i thích 2 ví d trên.
Đ nh nghĩa cây b c D c k.
Đ nh nghĩa: Cây b c D c k là cây có h th ng nút, c nh th a đi u ki n:
- T 1 nút có s c nh đi ra không v t quá D hay m t nút có không quá D nút con.
- Nút cu i cùng (Nút lá) cách nút g c không v t quá k c nh.
Ví d : cây b c D=2 và c k=3
V n đ sinh mã cho cây b c D c k
Sinh mã cho các nút c a cây b c D c K (tr nút g c):

Đ đ n gi n hóa: m i nút (tr nút g c) đ c ký hi u b i dãy ký hi u c a nút cha làm ti n t +
m t ký t b sung l y t t p h p {0, 1, 2, …, D-1} thay cho b ng ch cái A={a1, a2, …, aD}.
Ví d 1: Cây b c D=2 c k=3 Ví d 2: Cây b c D=3 c k=2.
00 000 0 00
0 001 01
01 010 02
011 1 10
10 11
100
1 12
101
2 20
11 110
21
111
22
Tính ch t:
+ Các nút (tr nút g c) c a cây đ u đ c mã hóa t b ng ch cái {0, 1, 2,…, D-1}
+ M i nút (đã mã hóa) có mã c a nút k tr c là ti n t .
+ T ng s các nút lá bằng Dk = t ng s các mã t c th i có th có.
Ch ng minh đ nh lý Kraft (Đi u ki n c n)

c b ng mã t c th i W={w1, w2,…, wM} v i N={n1≤ n2 ≤ …≤ nM}. Ta c n c/m:
∑D
Gi s , cho tr
− ni
≤1
M
i =1
Xây d ng cây b c D c nM và sinh mã cho các nút tr nút g c v i các ký t mã l y t b ng ch
cái A = {0, 1, 2,…, D-1}. Mã t i m i nút (tr nùt g c) đ u có kh năng đ c ch n là t mã.
Nh v y, ta ti n hành ch n các t mã cho b ng mã t c th i v i qui tắc là: m t nút nào đó đ c

ch n đ gán m t t mã thì t t c các nút k sau nút gán t mã ph i đ c xóa. C th nh sau:
Ch n m t nút có mã v i đ dài mã là n1 gán cho nó m t t mã w1.

n −n
=> T ng s nút lá đ c xóa t ng ng là D M 1
Ch n m t nút có mã v i đ dài mã là n2 gán cho nó m t t mã w2.
n −n
=> T ng s nút lá đ c xóa t ng ng là D M 2
……
Ch n m t nút có mã v i đ dài mã là nn gán cho nó m t t mã wn.
n −n
=> s nút lá đ c gán t mã là D M M
V y s nút lá b xóa ho c đ c gán t mã là:
+D +L+ D = ∑D ≤D
nM − n1 nM − n1 nM − n M nM − ni
M
nM
=> D = t ng s nút lá.
i =1
∑D ≤ 1 (đpcm)
− ni
M
=>
i =1
Ch ng minh đ nh lý Kraft (Đi u ki n đ )
∑D ≤ 1 , đ c n ch ng minh t n t i b ng mã t c th i v i N={n1, n2, …, nM}, ta chỉ

− ni
M
Gi s :
i =1
c n chỉ ra th t c xây d ng b ng mã t c th i nh sau:
Th t c t o mã t c th i:
B c 1: Ta x p th t n1≤ n2 ≤ … ≤ nM, xây d ng cây b c D c k=nM và sinh mã cho các nút .

Xét N={n1, n2, …,nM} và c s sinh mã là D:
B c 2: Ch n nút b t kỳ trên cây có đ dài n1 gán cho t mã w1 và xóa t t c các nút k sau nó.
B c 3: L p l i các b c 2 đ i v i vi c ch n các t mã còn l i w2, …, wM ng v i n2, …, nM.
=> B ng mã W={w1, w2, …, wM} là b ng mã t c th i.
Ví d minh h a đ nh lý Kraft
Ví d 1: Xét b ng mã th a M=3, D=2, n1=1, n2=2, n3=3. V y ta ki m tra xem có t o đ c b ng
Ta có ∑ 2 i = 2 −1 + 2 − 2 + 2 −3 = < 1
mã t c th i hay không?
−n
3
7
i =1 8
=> W= {w1, w2, w3} là b ng mã t c th i
Ta Xây d ng b ng mã nh sau: 00 000
w1= 0 001 - Ch n w1=0 , cắt b các nút con c a nút w1.

010 - Ch n w2=10, cắt b các nút con c a nút
01
w2.
011 - Ch n w3=111
w2=10 100
1 101
11 110
111
w3=
Chú ý: ngoài b ng mã t c th i ch n đ c trên, ta còn có th sinh đ c nhi u b ng mã t c th i

khác. Đề nghị sinh viên đưa ra bảng mã tức thời khác.
Bài t p
1. Tìm 1 b ng mã tách đ c th a tính ch t D = 2, k = 4?
2. Tìm t t c các b ng mã tách đ c th a tính ch t D=2, k=3?
3. Hãy chỉ ra b ng mã sau đây là b ng mã không tách đ c:
W={w1=00, w2=1, w3=100, w4=110, w5=111}
4. Hãy tìm m t b ng mã nh phân tách đ c có ít nh t 5 t mã th a đi u ki n
∑D =1
− ni
M
i =1
BÀI 3.3: TÍNH T I UC AĐ DÀI MÃ

M c tiêu
- Hi u đ nh lý Shannon (1948),
- Bi t đ c các tiêu chuẩn đánh giá b ng mã t i u tuy t đ i và b ng mã t i u t ng đ i,
- Đi u ki n nh n bi t m t b ng mã t i u,
- Hi u Đ nh lý Huffman,
- Bi t Ph ng pháp sinh mã Huffman,
- V n d ng ph ng pháp sinh mã Huffman đ sinh mã Huffman cho m t thông báo,
- V n d ng ph ng pháp sinh mã Huffman đ vi t ch ng trình nén.
Đ nh lý Shannon (1948)
Phát bi u đ nh lý:
Đ t n = ∑ pi ni là đ dài trung bình c a b ng mã.
M
i =1
Khi đó n ≥
H(X )
∑D
log 2 D
D u đ ng th c x y ra khi và chỉ khi pi = D − ni hay =1

− ni
M
i =1
H (X )
Di n gi i: Đ i v i mã tách đ c đ dài trung bình c a mã s có c n d i là
. N u mã
log 2 D
không tách đ c đ dài trung bình c a nó có th nh h n c n d i. N u mã tách đ c không t i
u thì đ dài c a nó s l n h n nhi u so v i c n d i, còn n u mã tách đ c t i u thì đ dài
trung bình c a nó g n v i c n d i.
Bài toán đ t ra s là tìm ph ng pháp xây d ng b ng mã tách đ c t i u.
H D (X) = −∑ pi log D pi
Chú ý:
H ( X ) − ∑ pi log 2 pi
H D
(X ) = =
log 2 D log 2 D
là entropy c a X v i c s D.
B ng mã t i u tuy t đ i
c g i là t i u tuy t đ i khi n = hay pi = D − ni
H (X )
Đ nh lý: B ng mã đ D
log 2
Ví d : xét bi n ng u nhiên X={x1, x2, x3, x4}
Có phân ph i: P={1/2, 1/4, 1/8, 1/8}
Có b ng mã W={w1= 0, w2=10, w3=110, w4=111}
Ta tính đ c đ dài trung bình t mã: n = *1 + * 2 + * 3 + * 3 = = 1.75
1 1 1 1 12
2 4 8 8 8
Tính Entropy c a X: H(X)= H(0.5, 0.25, 0.125, 0.125) = 0.5 +0.5 + 0.375 + 0.375 =1.75
Log2D=1.
000 W= {w1, w2, w3, w4} là b ng mã t i u

00
tuy t đ i vì th a đi u ki n:
n=
001 H (X )
0 010 log 2D
w1 01
011
10
100
w2
1 101
11 w3
110
111 w4
B ng mã t i u t ng đ i
≤n< +1
H(X ) H (X )
Đ nh lý: B ng mã đ c g i là t i u t ng đ i khi:
log 2 D log 2 D
Đi u ki n nh n bi t m t b ng mã t i u
Đ nh lý (v i D=2):
- Xác su t pi càng l n thì đ dài ni c a t mã wi càng nh .
- Gi s p1≥ p2 ≥ … ≥ pM. N u pi≥ pi+1 ≥ pi+r thì ni ≤ ni+1 ≤ ni+r thì 2 t mã t ng ng v i 2
giá tr có xác su t nh nh t có đ dài mã bằng nhau nM-1 =nM.
- Trong các t mã có đ dài bằng nhau và cùng bằng nM (dài nh t) thì t n t i ít nh t 2 t mã
wM-1 và wM có M-1 ký t đ u gi ng nhau và ký t th M khác nhau.
Ví d : xét b ng mã W={w1=0, w2=100, w3=101, w4=1101, w5=1110}

B ng mã trên không ph i là b ng mã t i u vì 2 t mã w4, w5 có đ dài l n nh t =4 ký t nh ng 3
ký t đ u khác nhau.
Ghi chú: D > 2 đ c xét t ng t .
Đ nh lý Huffman
Đ nh lý: Gi s X có phân ph i xác su t v i th t gi m d n sau:
p1≥ p2 ≥ ≥ pM
X x1 x2 … xM
P …
Gi s b ng mã c a X là W={w1, w2, …, wM-1, wM}.

Đ t xM-1,M={xM-1, xM} có xác su t là pM-1,M=pM-1+pM.
và X* = { x1, x2,…, xM-1,M} có phân ph i sau:
X* x1 x2 … x*M-2 x*M-1,M
P P1 p2 … p*M-2 p*M-1,M
Gi s W* ={w1, w2, …, wM-2, x*M-1,M} là b ng mã t i u c a X*. Khi đó:

- wM-1=w*M-1,M + “0”.
- wM =w*M-1,M + “1”.
Ph ng pháp sinh mã Huffman

Gi s X có phân ph i xác su t v i th t gi m d n sau:
p1≥ p2 ≥ ≥ pM
X x1 x2 … xM
P …
Th t c lùi (D=2):
Khởi t o: Đ t M0=M
- Đ t x M 0 −1, M 0 = {x M 0 −1 , x M 0 } có xác su t p M 0 −1, M 0 = p M 0 −1 + p M

B c 1:
0
- Sắp x p l i theo t t gi m d n c a xác su t ta nh n đ c dãy phân ph i m i có M0-1

ph n t nh sau: p1 , p 2 , L , p M 0 − 2 , p M 0 −1, M 0
wM 0 −1 = wM 0 −1,M 0 +"0"
B c 2: L p l i b c 1 v i s l u v t
wM 0 = wM 0 −1,M 0 +"1"
Gi m M0: M0=M0-1, vòng l p k t thúc khi M0=2
(Chú ý: trong tr ng h p t ng quát, vong l p k t thúc khi M0 ≤ D.)
Th t c ti n:
Đi ng c l i so v i th t c lùi đ ng th i xác đ nh t mã m i b ct s l uv t th t c
lùi.
Minh h a ph ng pháp sinh mã Huffman
Ví d 1: sinh b ng mã nh phân Huffman cho X có phân ph i sau:
X x1 x2 x3 x4 x5 x6
P 0.3 0.25 0.2 0.1 0.1 0.05
Th t c lùi:
B c1 B c2 B c3 B c4 B c5
X P X P X P X P X P
x1 0.3 x1 0.3 x1 0.3 x23 0.45 x1564 0.55 0
x2 0.25 x2 0.25 x564 0.25 x1 0.3 0 x23 0.45 1
x3 0.2 x3 02 x2 0,25 0 x564 0.25 1
x4 0.1 x56 0.15 0 x3 0.2 1
x5 0.1 0 x4 0.1 1
x6 0.05 1
Th t c ti n:
B c1 B c2 B c3 B c4 B c5
X W X W X W X W X W
x1564 0 x23 1 x1 00 x1 00 x1 00 = w1
x23 1 x1 00 x564 01 x2 10 x2 10 = w2
x564 01 x2 10 x3 11 x3 11 = w3
x3 11 x56 010 x4 011 = w4
x4 011 x5 0100 = w5
x6 0101 = w6
Nh n xét tính t i u c a b ng mã Huffman

V cây Huffman c a b ng mã trên:
00=w1 0100=w5
0 010
01 0101=w6
011=w
1 10=w2
Đ dài trung bình c a t mã: 11=w

n =(0.3 x 2)+ (0.25 x 2)+ (0.2 x 2) + (0.1 x 3) +(0.1 x 4) + (0.05 x 4) = 2.4
Entropy c a X: H(X) = H(0.3, 0.25; 0.2, 0.1,0.1, 0.05)

= 2.4
Nh n xét: Do D = 2 và log2D=1, Ta có n = H(X) nên b ng mã trên t i u tuy t đ i.
Bài t p
1. Cho bi n ng u nhiên X có phân ph i sau:
X x1 x2 x3 x4
P 0.4 0.3 0.2 0.1
2. Cho bi n ng u nhiên Y có phân ph i sau:
Y y1 y2 y3 y4 y5 y6 y7 y8 y9
P 0.3 0.2 0.2 0.1 0.05 0.05 0.04 0.03 0.03
3. Cho đo n văn b n “thoi the thi thoi thi the thoi thi the”. Tìm b ng mã nh phân Huffman
dùng đ mã hóa đo n văn b n trên.
4. Thay t ng ký t trong đo n văn b n trên thành m t t mã, cắt t ng đo n 8 bits đ i thành
s th p phân. Cho bi t dãy s th p phân k t qu .
CH NG 4: KÊNH TRUY N
M c tiêu:
Trình bày mô hình truy n tin r i r c t ng ký t mã đ c l p l n nhau (phù h p v i đ c đi m
c a kênh). Mô hình này còn g i là kênh truy n r i r c không nh (Memoryless Discret Channel).
T mô hình này ng i ta có th xây d ng cách tính dung l ng kênh truy n và ph ng pháp phân
lo i đ u nh n đ có th gi i mã t t nh t.
BÀI 4.1: KÊNH TRUY N R I R C KHÔNG NH

M c tiêu
- Bi t mô hình kênh truy n tin r i r c không nh 2 khía c nh v t lý và toán h c.
- Khái ni m v l ng tin trên kênh truy n
- Đ nh nghĩa dung l ng kênh truy n
Gi i thi u
Tr c h t, ta có th hi u khái ni m kênh truy n r i r c và không nh bài h c này nh sau: khái
ni m truy n r i r c đây là truy n tu n t các ký t đ c l p nhau (hay truy n t ng ký t m t),
còn khái ni m không nh đây là chỉ xét m i quan h gi a ký t truy n và ký t nh n đ c
t ng ng, không xét đ n m i quan h gi a ký t nh n đ c v i ký t nh n đ c tr c đó.
Khái ni m v m t kênh truy n r i r c d a vào phân b xác su t c a tín hi u ra ph thu c vào tín
hi u vào và tr ng thái c a kênh truy n đã đ c chuẩn hóa b i Feinstein (1958) và Wolfowitz
(1961). Dung l ng kênh (Channel Capacity) đ c xác đ nh chính xác nh Muroya (1953) và
Fano (1961). Gi i thu t và ch ng trình tính dung l ng kênh đã đ c vi t b i Eisenberg (1963).
Đ nh lý c b n v truy n tin đã chỉ ra rằng “v i dung l ng kênh cho tr c luôn có th tìm ra m t

ph ng pháp truy n tin v i l ng tin nh h n dung l ng kênh và đ t sai s nh h n sai s cho
phép b t kỳ”. Đ nh lý c b n v truy n tin đã đ c Feinstein (1954, 1958) kh o sát. Các nhà khoa
h c Blackwell, Breinan (1958, 1959) và Thomasian (1961) đã l n l t chỉnh lý đ đ t chuẩn t t
h n. Trong các n i dung ti p theo c a bài h c, các b n s tìm hi u v mô hình kênh truy n tin r i
r c không nh khia c nh v t lý và toán h c. Đ c bi t mô hình toán h c s chỉ ra cách xác đ nh
phân ph i đ u ra d a vào phân ph i đ u vào.
Mô hình v t lý
M t thông báo đ c c u t o t các ký hi u c a m t b ng ch cái đ u truy n (input) và đ c
truy n trên kênh. Thông báo đ c nh n cu i kênh (hay đ u nh n-output) và đ c gi i mã theo
b ng ch cái đ u truy n. M t khác, t ng ký t đ u nh n có th quan h v i các ký t đ u
nh n tr c đó, các ký t đ u truy n và tr ng thái c a kênh truy n. Đ đ n gi n, đây chúng ta
chỉ xét mô hình v t lý nh sau:
Xét t ng ký t đ u nh n chỉ ph thu c vào ký t đ u truy n t ng ng v i nó, n u kênh

truy n có nhi u thì m t ký t đ u truy n có th đ c di n gi i (nhi u) ra nhi u ký t khác nhau
đ u nh n và do đó t o ra m t phân ph i xác su t có đi u ki n cho ký t đ u nh n. Mô hình
truyền tin rời rạc không nhớ là mô hình truyền tin chỉ xét mối quan hệ giữa ký tự truyền và ký tự
nhận được tương ứng, không xét mối quan hệ giữa ký tự nhận được và ký tự nhận được trước đó.
Mô hình:
Kênh truy n
X Đ u truy n Đ u nh n Y
P(e)
ΓX ΓY
nhi u
Các qui c:
- X: là bi n ng u nhiên có giá tr c n truy n đ u truy n.
- Y: là bi n ng u nhiên ch a giá tr có th nh n đ c đ u nh n.
- ΓX: là b ng ch cái sinh mã đ u truy n.
- ΓY: là b ng ch cái gi i mã đ u nh n.
- X, Y, ΓX, ΓY: đ u h u h n và r i r c.
- Truy n r i r c t ng ký t và nh n cũng r i r c t ng ký t .
- Ký t nh n sau không ph thu c vào ký t nh n tr c.
Mô hình toán h c
ΓX={x1, x2, …, xM} là b ký t sinh mã đ u truy n (input).

Ta g i:
ΓY={y1, y2,…,yL} là b ký t gi i mã đ u nh n (output).

-
Bi n ng u nhiên X l y giá tr (đã mã hóa) trên ΓX và có phân ph i p(X=xi)=p(xi) v i

-
-
- Bi n ng u nhiên Y l y giá tr (gi i mã) trên ΓY và có phân ph i xác su t có đi u ki n:

i=1,..,M.
P(Y=yj/X=xi)=p(yj/xi)=pij v i j=1,..,L.
G i A=||pij|| là ma tr n truy n tin hay mô hình truy n tin c a kênh truy n r i r c không nh .
V i i= 1, M , j= 1, L và pij = p(Y=yj/X=xi) = p(yj/xi) là xác su t nh n đ c giá tr yj khi đã truy n
giá tr xi.
Tính phân ph i đ u nh n:
Ta có: p(Y=yj) = p(yj) = ∑ p( xi ). p ( y j / xi )
M
i =1
⇒ p(yj) = ∑ p ( xi ). p ( y j / xi )
M
i =1
= ∑ p ( xi ). pij
M
i =1
V y p(yj)= PX’ .Aj (1)
M t các t ng quát: P’Y = P’X.A (2)

Trong đó:
- Aj là c t th j c a A
- P’X = [p(x1), p(x2),…., p(xM)].
- P’Y = [p(y1), p(y2),…., p(yM)].
Ví d xác đ nh phân ph i đ u nh n
Cho ma tr n truy n tin nh sau:
x1 ⎡0.5 0 .2 0 .3 ⎤
A = x 2 ⎢⎢0.30.5 0.2⎥⎥
x3 ⎢⎣0.2 0.3 0.5⎥⎦
y1 y 2 y3
Xác su t truy n: p(x1)=0.5 và p(x2)=p(x3)= 0.25.
Ta tìm phân ph i c a Y :
Ta có: PX’ =(0.5, 0.25, 0.25)
Áp d ng công th c (1) trên ta đ c:
p(y1) = Px’ .A1 = 0.375
p(y2) = Px’ .A2 = 0.3
p(y3) = Px’ .A3 = 0.325
⇒ PY’ =(0.375, 0.3, 0.325)
L ng tin trên kênh truy n

Ví d : cho ma tr n truy n tin nh sau:
x1 ⎡0.5 0.2 0 .3 ⎤
A = x 2 ⎢⎢0.3 0.5 0.2⎥⎥
x3 ⎢⎣0.2 0.3 0.5⎥⎦
y1 y 2 y3
Xác su t truy n: p(x1)=0.5 và p(x2)=p(x3)= 0.25.
X = {x1, x2, x3} đ c xem nh t p các ký t truy n và Y ={y1, y2, y3} là t p các ký t nh n.
Tính l ng tin trên kênh truy n:

Ta tìm phân ph i c a Y :
Ta có: PX’ =(0.5, 0.25, 0.25)
Áp d ng công th c (1) trên ta đ c:
p(y1) = Px’ .A1 = 0.375
p(y2) = Px’ .A2 = 0.3
p(y3) = Px’ .A3 = 0.325
⇒ PY’ =(0.375, 0.3, 0.325)

Tính các Entropy:
H(Y) = H(0.375, 0.3, 0.325) = 1.58 (bit)
H(Y/X=x1) = H(0.5, 0.2, 0.3)= 1.49 (bit)
H(Y/X=x2) = H(0.3, 0.5, 0.2)= 1.49 (bit)
H(Y/X=x1) = H(0.2, 0.3, 0.5)= 1.49 (bit)
H(Y/X)= p(x1).H(Y/X=x1) + p(x2).H(Y/X=x2) + p(x3).H(Y/X=x3) = 1.49 (bit)
Lượng thông tin truyền trên kênh: I (X/Y)= I (Y/X)= H(Y) - H(Y/X) = 0,09 (bit)
Đ nh nghĩa dung l ng kênh truy n

D a vào ma tr n truy n tin A, ta có th d dàng tính l ng tin trên kênh truy n.
I(X/Y)= H(X)-H(Y/X)
= H(Y)-H(X/Y)
= I(Y/X)
Ta có I(X/Y)= H(Y)-H(Y/X), trong đó:
H(Y)= H(PX’ .A) ph thu c vào PX.
H(Y/X) ph thu c vào PX
V y: I(Y/X) ph thu c hoàn toàn vào PX và do đó I(Y/X) có th đ t Max v i PX xác đ nh nào đó.
Ta đ nh nghĩa: C = Max I ( X / Y ) là dung l ng c a kênh truy n (ĐVT: bit).

∀p ( X )
BAI 4.2: CÁC D NG KÊNH TRUY N

M c tiêu
Bi t kênh truy n không m t tin,
Bi t kênh truy n xác đ nh,
Bi t kênh truy n không nhi u,
Bi t kênh truy n không s d ng đ c,
Hi u kênh truy n đ i x ng,
Hi u đ nh lý v dung l ng kênh truy n,Kênh truy n không m t tin

Mô hình: t t p h p các giá tr có th nh n đ c đ u nh n Y={y1, y2, …, yL} đ c phân thành
M nhóm Bi t ng ng v i các giá tr xi đ u truy n và xác su t đ truy n xi v i đi u ki n đã nh n
yj là p(X= xi /Y=yj ∈Bi)=1 ( v i M < L ).
Đ u truy n Đ u nh n
x1 y1
… Nhóm B1
yk
x2 yk+1
… Nhóm B2
yh
… …
xM yt
… Nhóm BM
yL
Đ c tr ng c a kênh truy n không m t tin là H(X/Y)=0. Có nghĩa là l ng tin ch a bi t v X khi
nh n Y là bằng 0 hay ta có th hi u khi nh n đ c Y thì ta hoàn toàn có th bi t v X.
Dung l ng: C=log2M (Sinh viên t ch ng minh, xem nh bài t p)
Kênh truy n xác đ nh

Mô hình: t t p h p các giá tr có th truy n đ u truy n đ c phân thành L nhóm Bj t ng ng
v i các giá tr có th nh n đ c yj đ u nh n và xác su t đ nh n yj v i đi u ki n đã truy n xi là
p(Y=yj/X=xi ∈Bj)=1 (M>L).
x1
Nhóm B1 … y1
xk
xk+1
Nhóm B2 … y2
xh
… …
xt
Nhóm BL … yL
xL
Đ c tr ng: c a kênh truy n xác đ nh là H(Y/X)=0. Có nghĩa là l ng tin ch a bi t v Y khi
truy n X bằng 0 hay khi truy n X thì ta bi t s nh n đ c Y.
Dung l ng: C=log2L (Sinh viên t ch ng minh, xem nh bài t p)
Kênh truy n không nhi u

Mô hình: là s k t h p c a kênh truy n xác đ nh và kênh truy n không m t thông tin, truy n ký
t nào s nh n đ c đúng ký t đó.
x1 x1
x2 x2
… …
xM xM
Đ c tr ng: H(X/Y)=H(Y/X)=0.
Dung l ng: C=log2L=log2M (Sinh viên tự chứng minh, xem như bài tập)
Ví d : ma tr n truy n tin c a kênh truy n không nhi u v i M=L=3:

x1 ⎡1 0 0⎤
x 2 ⎢⎢0 1 0⎥⎥
x3 ⎢⎣0 0 1⎥⎦
A=
y1 y 2 y 3
Kênh truy n không s d ng đ c.

Mô hình: là kênh truy n mà khi truy n giá tr nào thì m t giá tr đó ho c xác su t nhi u thông tin
trên kênh truy n l n h n xác su t nh n đ c.
Đ c tr ng: H(X/Y)=H(Y/X)= max
Dung l ng: C=0 (Sinh viên t ch ng minh, xem nh bài t p)
⎛ε 1 − ε ⎞
Ví d : kênh truy n có ma tr n truy n tin nh sau:
A= ⎜⎜ ⎟⎟
⎝ε 1 − ε ⎠
Kênh truy n đ i x ng
Mô hình: là kênh truy n mà ma tr n truy n tin có đ c đi m sau:
+ M i dòng c a ma tr n A là m t hoán v c a phân ph i P={p’1, p’2, …, p’L}
+ M i c t c a ma tr n A là m t hoán v c a Q={q’1, q’2, …, q’M}
Ví d : cho kênh truy n đ i x ng có ma tr n truy n tin nh sau:

x1 ⎡1 / 2 1 / 3 1 / 6⎤
x 2 ⎢⎢1 / 3 1 / 6 1 / 2⎥⎥
x3 ⎢⎣1 / 6 1 / 2 1 / 3⎥⎦
A =
y1 y2 y3
Xây d ng công th c tính dung l ng kênh truy n đ i x ng

Do H(Y/X) không ph thu c vào phân ph i c a X => Max c a I(X/Y) đ c quy v mã c a H(Y).
C = Max I ( X / Y ) = Max( H (Y ) − H (Y / X ))
Hay
H (Y / X ) = −∑ p ' j log p ' j = const

Ta có th tính d dàng:
L
j =i
Do đó:
C = Max I ( X / Y ) = MaxH (Y ) + ∑ p ' j log p ' j
L
j =i
Do H(Y)<= logL => ta c n ch ng t “=” x y ra khi p1=p2=...=pL=1/L
Xét tr ng h p P(X=xi)=1/M, v i m i i => ch ng minh P(Y=yj)=1/L v i m i j
Th t v y :
P (Y = y j ) = ∑ P(Y = y j , X = xi )
M
i =1
= ∑ P( X = xi )P(Y = y j / X = xi ) = ∑P =
M M
1 1
qi
i =1 i =1
ij
M M
T A ta nh n th y:
⎛ p11 ... p1L ⎞
... ⎟ => ∑ A = t ng các ph n t c a A.
⎜ ⎟
A = ⎜ ... ...
⎜p p ML ⎟⎠
⎝ M 1 ...
∑ = ∑A = ∑A => M = L ∑ qi =>∑ qi =
+ hang + cot
M M
M
Do
i =i i =i
= => H (Y ) = −∑ p ' P (Y = y j ) log P (Y = y j ) = log L = Max

A L
=> P (Y = y j ) =
1 M 1
M L L
=> H(Y) đ t max là logL khi P(Y=yj)=1/L ho c P(X=xi)=1/M
V y: C= log L – H(p’1, p’2, …, p’L ) hay C = log L + ∑ p j log p j

L
j =1
ng h p kênh 1 bit v i nhi u β

⎛1 − β β ⎞
Chú ý: tr
Ma tr n truy n tin A = ⎜⎜ ⎟
⎝ β 1 − β ⎟⎠
Dung l ng C=1+(1-β) log(1-β)+βlogβ = 1- H(β, 1-β)
H(β , 1-β)
1 – H(β,1-β)
Đ nh lý v dung l ng kênh truy n

Gi s ma tr n A có d ng vuông và có ma tr n ngh ch đ o là A-1
Ký hi u A=||pij|| v i i=1,2,...,M và j =1,2,...,M
A-1=||qij|| v i i=1,2,...,M và j =1,2,...,M
Đ t tham s dk= ∑ q jk exp 2 ⎢− ∑ q ji H (Y / X = xi )⎥, ∀k = 1, M

M
⎡ M ⎤
j =1 ⎣ i =1 ⎦
C = Log ⎨∑ exp 2 ⎢− ∑ q ji H (Y / X = xi )⎥ ⎬
⎧M ⎤⎫
N u dk>0 thì dung l ng kênh truy n có d ng:
⎡ M
⎩ j =1 ⎣ i =1 ⎦⎭
Giá tr c c đ i đ t khi tín hi u vào X=X* th a phân ph i P(X*=xk)=2-Cdk

Hay C=max I(X/Y)=I(X*/Y)
Chú ý:
- Đi u ki n dk>0 cho phép hàm I(X/Y) là hàm l i => T n t i Max tuy t đ i t i phân ph i c a
X* v i p(X*=xk)=2-C dk =pk (v i m i k).
- N u đi u ki n ma tr n vuông ho c ma tr n ng ch đ o không th a thì giá tr c c đ i max s
nằm trên đ ng biên c a mi n xác đ nh {pk>0 và -Σpk=1}
Bài t p
1. Cho m t kênh truy n có ma tr n truy n tin nh sau:
x1 ⎡1 / 2 1 / 3 1 / 6⎤
x 2 ⎢⎢1 / 3 1 / 6 1 / 2⎥⎥
x3 ⎢⎣1 / 6 1 / 2 1 / 3⎥⎦
y1 y 2 y3
Tính dung l ng kênh truy n.
2. Ch ng minh các công th c tính dung l ng kênh truy n trên.
BÀI 4.3: L CĐ GI I MÃ
M c tiêu
- Bi t đ t v n đ bài toán gi i mã,
- Hi u các khái ni m c b n c a kỹ thu t truy n tin,
- Bi t và hi u các d ng sai s c b n c a kỹ thu t truy n tin,
- Hi u ph ng pháp xây d ng l c đ gi i mã t i u,
- V n d ng xây d ng l c đ gi i mã t i u và tính các d ng xác su t truy n sai.
Đ t v n đ bài toán gi i mã
Phân tích yêu c u gi i mã:
Khi truy n giá tr xi, ta s nh n đ c yj.
Đ i v i kênh truy n không nhi u thì yj chính là xi. Đ i v i kênh truy n có nhi u thì yj có
th khác xi. Do đó ta c n tìm cách gi i mã yj v giá tr xi khi kênh truy n có nhi u.
Phép phân ho ch các giá tr đ u nh n:

Phép phân ho ch t p các giá tr đ u nh p yj ∈ Y là phép phân chia t p Y thành các t p
⎧ Bi I B j = ∅
con Bi sao cho:
⎪
1. ⎨ M (∀ i ≠ j)
⎪U Bi = Y
⎩ i =1
2. Khi nh n yj ∈ Bi thì gi i mã v xi.
Ví d bài toán gi i mã
Cho t p các t mã truy n X và t p các dãy n bit nh n đ c Y nh sau:
X={0000, 0101, 1110, 1011}
Y={0000, 0001, 0010, 0011, 0100, 0101, 0110, 0111,
1000, 1001, 1010, 1011, 1100, 1101, 1110, 1111}
Gi s ta có th phân ho ch t p Y thành các t p con Bi nh sau:
B1={0000, 1000, 0001, 0010}
B2={0101, 1101, 0100, 0111}
B3={1110, 0110, 1111, 1100}
Gi s nh n yj = 0011 thì gi i mã v x4 = 1011 vì yj ∈ B4.

B4={1011, 0011, 1010, 1001}
Các khái ni m c b n c a kỹ thu t truy n tin

Xét s đ truy n tin nh sau:
R Kênh
Ngu n B t o mã B gi i mã Nh n
ký t
ký t nhi u
gi i mã
mã P(e)
X∈{x1, …, xM} Y∈{y1, …, yL}
Di n gi i:
- Ngu n phát tín hi u (hay thông báo) v i v n t c R (tín hi u/giây).
- Tín hi u đ c mã hóa t b ký t mã.
- Tín hi u mã hóa đ c truy n trên kênh v i v n t c C (ký t /giây), C đ ng th i là dung l ng
c a kênh truy n.
- Tín hi u truy n trên kênh có th b nhi u v i xác su t P(e).
- Tr c khi nh n, tín hi u mã hóa đ c gi i mã theo m t ph ng th c t i u và đ chính xác
cao nh t có th có.
Bài toán đ t ra đây: tìm gi i pháp t o mã sao cho sai s đ u nh n có xác su t nh h n ε b t kỳ

(ε < P(e)) đ ng th i v i đ ng b hóa: v n t c phát thông báo ngu n R và v n t c truy n t i ≤ C
(C là dung l ng kênh).
Các khái ni m c b n:
T mã: là dãy n ký t truy n hay dãy n ký t nh n đúng.
B mã (S,n): là t p h p g m S t mã v i đ dài m i t mã đ u bằng n và đ c ký hi u là x(1), …,
x(s).
L c đ gi i mã: là m t hàm gán cho m t dãy n ký t nh n đ c yj m t t mã c a b mã W =
{w1, w2, …, ws}. Ký hi u: g(yj) = wi
L c đ gi i mã t i u: là l c đ gi i mã sao cho t ng xác su t truy n sai là nh nh t hay t ng

xác su t truy n đúng là l n nh t.
Nghĩa là: khi nh n yj thì ta gi i mã v wi* sao cho:
P(wi*/yj) = Max{P(wk/yj)}
∀wk ∈ W
Ví d minh h a các khái ni m c b n

Gi s kênh truy n t ng bit v i C=1, ngu n phát thông báo v i t c đ R=2/5 bit/giây (R<C). Đ
thu n l i cho mã hóa và gi m nhi u, ta xét t ng kho ng th i gian n = 5 giây. Nh v y trong
kho ng th i gian n = 5 giây, ta có:
- T p h p các tín hi u khác nhau là 2nR = 4. Gi s 4 tín hi u là m1, m2, m3, m4.
- S bit đ c phát ra là nR=2 bit và m t tín hi u d ng mi đ c k t c u b i m t dãy
các bit.
- Quá trình mã hóa các tín hi u m1, m2, m3, m4 c n chú ý là: m i mi c n đ c mã hóa
v i s bit t i đa là nC=5 bit. V y, ta có th mã hóa các tín hi u mi theo 2 cách sau:
Cách 1:
m1=00000
m2=01101
m3=11010
m4=10111
Cách 2:
m1=00
m2=01
m3=10
m4=11
N u s d ng cách 1 v i đ dài 5 bit, trong đó 5 bit có th hi u là có 2 bit thông tin c n truy n và 3
bit con l i là 3 bit đ c b sung đ phát hi n nhi u theo m t ph ng pháp nào đó s đ c đ c p
các n i dung ti p theo sau. V i cách mã hóa này, ta có nhi u kh năng phát hi n và s a sai do
nhi u.
N u s d ng cách 2 thì tr ng h p có 1 bit truy n sai s d n đ n trùng l p sang m t trong các tín
hi u khác. Ví d truy n m1=00 và nh n 2 bit là 01 (do nhi u), trong tr ng h p này 01 chính là
m2, đây là m t tín hi u đúng nên ta không th phát hi n có nhi u hay không nhi u.
Nh v y, trong kho ng th i gian truy n và dung l ng kênh cho phép, ta c n mã hóa m i tín hi u
càng dài càng t t nh ng không đ c v t quá đ dài mã cho phép. Tr ng h p v i th i gian n=5
và c= 1 bit thì nC=5 là s bit t i đa có th truy n nên ta chỉ mã hóa tín hi u v i đ dài mã t i đa là
5 bit.
Các d ng sai s c b n
Xác su t truy n sai t mã xi: p(e/xi)= ∑ p(Y=yj ∉Bi/X=xi)
Xác su t truy n sai trung bình: p(e) = ∑ p ( X = xi ) p (e / xi )
M
i =1
Xác su t truy n sai l n nh t: p m (e) = Max p(e / xi )

i =1, M
Ph ng pháp xây d ng l t đ gi i mã t i u
Ta có: P(wk/yj) = [p(wk).p(yj/wk)] / p(yj) v i (∀wk ∈ W)

Theo công th c Bayes:
T đ nh nghĩa l c đ gi i mã t i u:
⇒ tìm wk sao cho P(wk/yj) → Max ⇔ p(wk).p(yj/wk) → Max.
Nh v y, ta có th xây d ng l c đ gi i mã t i u theo các b

B c 0: Kh i t o các Bi = φ (∀i)
c sau:
B c l p: xét v i m i yj ∈Y
+ Tính:
p(w1).p(yj/w1)
p(w2).p(yj/w2)
…
p(wM).p(yj/wM)
{p(wk).p(yj/wk)} (∀wk ∈ W)
+ So sánh các giá tr tính trên và ch n giá tr w*i sao cho p(w*i).p(yj/w*i)= Max
+ Bi = Bi + {yj} và g(yj) = w*i.
Minh h a xây d ng l c đ gi i mã t i u
Bài toán:
Cho ma tr n truy n tin A và xác su t đ u truy n nh sau:
x1 ⎡1 / 2 1 / 3 1 / 6⎤
x 2 ⎢⎢1 / 3 1 / 6 1 / 2⎥⎥
x3 ⎢⎣1 / 6 1 / 2 1 / 3⎥⎦
y1 y 2 y3
V i p(x1)=1/2; p(x2)=p(x3)=1/4. Hãy xây d ng l c đ gi i mã t i u.
Áp d ng ph ng pháp xây d ng l c đ gi i mã t i u:
B c 0: B1={}; B2={}; B3={};
B c 1: Nh n giá tr y1, ta tính:
+ p(x1).p(y1/x1)= 1/2.1/2 = 1/4 (Max)
+ p(x2).p(y1/x2)= 1/4.1/3 = 1/12
+ p(x3).p(y1/x3)= 1/4.1/6 = 1/24
Do p(x1).p(y1/x1) l n nh t nên li t kê y1 vào t p h p B1 t ng ng v i x1.
=> B1={y1}.
+ p(x1).p(y2/x1)= 1/2 . 1/3 = 1/6 (Max)
+ p(x2).p(y2/x2)= 1/4 . 1/6 = 1/24
+ p(x3).p(y2/x3)= 1/4 . 1/2 = 1/8
=> B1={y1, y2}.
+ p(x1).p(y3/x1)= 1/2 . 1/6 = 1/12
+ p(x2).p(y3/x2)= 1/4 . 1/2 = 1/8 (Max)
+ p(x3).p(y3/x3)= 1/4 . 1/3 = 1/12
=> B2={y3}.
K t qu :
Phân ho ch: B1={y1, y2}, B2={y3} và B3={}.
L c đ gi i mã t i u:
Nh n Gi i mã
Nhóm B
y1 x1
1
y2 x2
Nhóm B2 y3 x3
Minh h a cách tính các sai s
Xét l i ví d minh h a xây d ng l c đ gi i mã t i u trên, ta có:
- Ma tr n truy n tin A:
x1 ⎡1 / 2 1 / 3 1 / 6⎤
x 2 ⎢⎢1 / 3 1 / 6 1 / 2⎥⎥
x3 ⎢⎣1 / 6 1 / 2 1 / 3⎥⎦
y1 y 2 y3
- Xác su t đ u truy n: p(x1)=1/2; p(x2)=p(x3)=1/4.
-L c đ gi i mã t i u:
Nh n Gi i mã
Nhóm B
y1 x1
1
y2 x2
Nhóm B2
y3 x3
- Phân ho ch: B1={y1, y2}, B2={y3} và B3={}.
Tính các xác su t truy n sai:
Xác su t truy n sai t mã x1: p(e/x1)= ∑ p(Y=yj ∉B1/X=x1)

Xác suất truyền sai một từ mã:

= p(y3/x1) =1/6

= p(y1/x2) + p(y2/x2) =1/3+1/6=1/2
Xác su t truy n sai trung bình: p(e) = ∑ p ( X = xi ) p (e / xi )

= p(y1/x3) + p(y2/x3) + p(y3/x3) =1/6+1/3+1/2=1
M
i =1
⇒ p(e)=p(x1).p(e/x1) + p(x2).p(e/x2) + p(x3).p(e/x3) = 1/2.1/6 + 1/4.1/2 + 1/4.1 = 11/24

Xác suất truyền sai lớn nhất: p m (e) = Max p(e / xi )
i =1, M
⇒ pm(e) = Max{ p(e/x1), p(e/x2), p(e/x3)} = p(e/x3) =1
Bài t p 1
1. Cho ma tr n truy n tin sau:
x1 ⎡1 / 2 1 / 3 1 / 6⎤
x2 ⎢⎢1 / 3 1 / 6 1 / 2⎥⎥
x3 ⎢⎣1 / 6 1 / 2 1 / 3⎥⎦
y1 y2 y3
Bi t xác su t đ u truy n: p(x1)=5/10, p(x2)=3/10, p(x3)=2/10.
- Tính dung l ng kênh truy n.
- Xây d ng l c đ gi i mã t i u.
- Tính các sai s p(e) và pm(e).

x1 ⎡7 / 12 3 / 12 2 / 12⎤
x2 ⎢⎢2 / 12 7 / 12 3 / 12 ⎥⎥
x3 ⎢⎣3 / 12 2 / 12 7 / 12⎥⎦
y1 y2 y3
Bi t xác su t đ u truy n: p(x1)=1/3, p(x2)=1/3, p(x3)=1/3.
- Xây d ng l c đ gi i mã t i u
- Tìm các sai s p(e) và pm(e).
Bài T p 2
x1 ⎛⎜ 1 2 13 1 6 ⎞⎟
x2 ⎜ 1 1 ⎟
⎜ 6 3⎟
1
x3 ⎜ 1 1 ⎟
2
⎝ 3 2⎠
1
6
y1 y2 y3
Bi t p(x1)=1/2, p(x2)=1/4, p(x3)=1/4.

x1 ⎛ 7 / 10 2 / 10 1 / 10 ⎞
⎜ ⎟
x2 ⎜ 1 / 10 7 / 10 2 / 10 ⎟
x3 ⎜⎝ 2 / 10 1 / 10 7 / 10 ⎟⎠
y1 y2 y3
Bi t xác su t truy n p(x1)=0.4, p(x2)=0.4, p(x3)=0.2.
CH NG 5: S A L I
M c tiêu: Xây d ng nguyên tắc s a l i d a vào kho ng cách Hamming. Trên nguyên tắc này,
ph ng pháp s a l i “ki m tra chắn l (parity check)” đ c xây d ng và t o ra quy trình s a l i
t i u và phù h p v i công ngh truy n tin hi n nay.
BÀI 5.1: NGUYÊN LÝ KHO NG CÁCH NH NH T

HAMMING
M c tiêu:
Sau khi hoàn t t bài h c này b n có th hi u:
- Đ nh nghĩa kho ng cách Hamming
- Kênh truy n đ i x ng nh phân và l c đ gi i mã t i u
- Quan h gi a xác su t gi i mã và kho ng cách Hamming
- Nguyên lý kho ng cách nh nh t c a Hamming.
Kho ng cách Hamming

Đ nh nghĩa: cho v1 và v2 là 2 dãy nh phân dài n bit, ta g i kho ng cách Hamming gi a 2 dãy v1,
v2 là s bit t ng ng khác nhau. Ký hi u: d(v1, v2).
Ví d :
v1=10101010
v2=10101111
Ta nh n th y rằng bit th 6 và bit th 8 gi a gi a v1 và v2 là khác nhau nên s bit t ng ng khác

nhau gi a v1 và v2 là 2. Do đó, ta nói kho ng cách Hamming gi a v1 và v2 là 2 hay d(v1, v2) = 2
Kênh truy n đ i x ng nh phân và l c đ gi i mã t i u

Xét kênh truy n đ i x ng nh phân. Gi s ta truy n các dãy t mã nh phân có đ dài n bits v i
xác su t truy n sai 1 bit là β.
1-β
β
0 0
1 1-β 1
G i W = {w1, w2,…,ws} là t p s t mã truy n, đ dài m i t mã đ u bằng n bit.

V = {v1, v2,…., v2n} là t p các dãy n bit nh n đ c cu i kênh v i W có phân ph i đ u, xác
su t đ nh n vj khi truy n wi là p(vj/wi) = pij.
Theo l c đ gi i mã t i u ta có: khi nh n vj thì gi i mã v wi* sao cho:

P(wi*/vj) = Max{P(wk/vj)}
(∀wi ∈ W)
Ta có: P(wk/yj) = [p(wk).p(yj/wk)] / p(yj) v i (∀wk ∈ W)
⇒ P(wk/yj) → Max ⇔ p(wk).p(yj/wk) → Max.
Do W có phân ph i đ u nên P(wk/yj) → Max ⇔ p(yj/wk) → Max
V y: đ tìm wi* sao cho P(wi*/vj) = Max{P(wk/vj)} ta chỉ c n tìm wi* sao cho
P(vj/ wi*) = Max{P(vj/ wk)} (chỉ d a vào ma trân truy n tin A)
Ví d kênh truy n đ i x ng nh phân

Xét ma tr n truy n tin A và xác su t đ u truy n nh sau:
w1 ⎡1 / 2 1 / 3 1 / 6⎤
w2 ⎢⎢1 / 3 1 / 6 1 / 2⎥⎥
w3 ⎢⎣1 / 6 1 / 2 1 / 3⎥⎦
A= và p(w1) = p(w2) = p(w3) = 1/3.
v1 v 2 v3
d a vào l c đ gi i mã t i u ta có:
− Nh n v1 gi i mã v w1
− Nh n v2 gi i mã v w3
− Nh n v3 gi i mã v w2.
Quan h gi a xác su t gi i mã và kho ng cách Hamming

Gi s nh n đ c v:
Xét 2 t mã w1 và w2 c n ch n đ gi i mã cho v.
+ G i d1=d(v, w1), d2=d(v,w2).
p(v/w1)= β 1 (1 − β ) 1 (xác su t đ nh n v khi truy n w1).
d n−d
+ Ta có:
P(v/w2)= β (1 − β )
d2 n−d2
(xác su t đ nh n v khi truy n w2).
p(v / w1 ) β β ) 1 ⎛1− β ⎞ 2 1
d −d
(1 −
n−d
= d =⎜ ⎟
p(v / w2 ) β 2 (1 − β ) n −d 2 ⎜⎝ β ⎟⎠
d1
So sánh xác su t:
1− β
β
N u nhi u 0 <β < ½ thì >1
Do đó: P(v/w1)>p(v/w2) ⇔ d1 <d2

Nh n xét: xác su t gi i mã càng l n thì kho ng cách Hamming càng nh .
Nguyên lý Hamming
Đ nh lý: trên kênh truy n đ i x ng nh phân v i s t mã đ u truy n có đ dài n bit, l c đ gi i
mã t i u có th thay th bằng l c đ gi i mã theo kho ng cách Hamming v i nguyên lý: n u
nh n đ c v, ta s gi i ra w*i
sao cho d(v,w*i)=Min d(v,wk) (v i ∀wk ∈ W).
Ví d : xét b mã W={w1=00000, w2=10011, w3=11100, w4=01111}

Gi s nh n đ c dãy v=01011.
ta có: d(v,w1)=3; d(v,w2)=2; d(v,w3)=4; d(v,w4)=1.
v y v đ c gi i v w4 vì kho ng cách Hamming gi a v và w4 là nh nh t.
Bài t p
1. Cho b mã W={w1=000000, w2=101010, w3=111000, w4=111111} và nh n đ c dãy
v=010111, khi đó gi i mã v t mã nào? di n gi i?
2. Cho b mã W={w1=000000, w2=010101, w3=000111, w4=111111} và Nh n đ c dãy
v=010111, khi đó gi i mã v t mã nào? di n gi i?
BÀI 5.2: B Đ V T S A L I VÀ C N HAMMING

M c tiêu
- Bi t đ c B đ v t s a l i,
- Hi u Đ nh lý v c n Hamming,
- Bi t phân lo i đ c các d ng l i,
- Làm c s lý thuy t cho các ph ng pháp s a l i đ c trình bài trong các bài h c ti p
theo.
B đ v t s al i
Đ t v n đ : m t t mã w dài n bit khi đ c truy n tu n t t ng bit có th sai e bit. V n đ đ t ra
là khoáng cách (Hamming) gi a các t mã và sai s e quan h v i nhau nh th nào đ có th
phân bi t t t nh t đ ng th i t t c các t mã? B đ sau xác đ nh quan h này.
B đ :
1. N u d(wi, wj) ≥ 2e+1 (v i ∀ i≠j )

Xét b mã W={w1, w2, …, ws} g m có s t mã nh phân dài n bit và 1 s nguyên d ng e.
Khi đó: t t c các dãy nh n đ c v có s bit l i ≤ e thì v có th t đi u chỉnh (hay t s a l i).

2. N u d(wi, wj) ≥ 2e (v i ∀ i≠j )
Khi đó: t t c các dãy nh n đ c v có s bit l i < e thì v có th t đi u chỉnh. T t c các dãy
nh n đ c có s bit l i = e thì ta chỉ phát hi n là v có l i và không th t đi u chỉnh đ c.
N u v có s ch s bit l i ≤ e và có th t đi u chỉnh thì d(wi, wj)≥ 2e+1 (v i ∀ i≠j ).

3. Ng c l i;
N u v có s ch s bit l i ≤ e-1 t đi u chỉnh đ c và t t c các tín hi u v i s ch s bit l i

≤ e đ c phát hi n thì kho ng cách gi a các t mã luôn th a: d(wi,wj) ≥ 2e (v i ∀ i≠j ).
Ch ng minh và minh h a b đ
a. Gi s : d(w, w’) ≥ 2e+1 v i ∀ i≠j . N u w và w’ có cùng kho ng cách đ i v i dãy v thì
d(v,w)=d(v,w’)≥ e+1. V y , n u d(v, w*) ≤ e thì v có th đ c gi i mã ra w*.
b. N u d(wi,wj)≥ 2e v i ∀ i≠j, có kh năng có v, w và w’ v i s ch s l i là:

d(v,w)=d(v,w’)=e (d(v,w)+ d(v,w’) ≥ d(w,w’)≥ 2e). Có th phát hi n ra các t mã g n v,
nh ng do t n t i cùng lúc nhi u t mã g n nh t v i v d n đ n không gi i mã đ c, ng c l i
hoàn toàn t ng t .
Minh h a:
a. d(wi, wj)= 2e+1= 7, e=3
N u v∈Bi thì v đ c gi i mã v wi
N u v∈Bj thì v đ c gi i mã v wj
wi * * wj
b. d(wi, wj) = 2e = 8 (e = 4, e - 1=3)

n u v∉Bi , v∉Bj => các đi m cách tâm kho ng cách 3 thì luôn đ c gi i mã, còn các
đi m cách tâm 4 thì chỉ phát hi n l i ch không th gi i mã đ c.
c. Mã 3 chi u (x, y, z) bắt đ u t g c 000. C m t tín hi u thay đ i thì mã b đẩy đi theo 1 c nh,
ch ng h n:
000 cách 010, 001 b i 1 c nh,
011 cách 010, 111 và 001 b i 1 c nh.
Nh v y, n u ta ch n w1=010, w2=001, w3=111 thì kho ng cách gi a chúng là 2
d(w1, w2)=d(w1, w3)=d(w2, w3)=2
v y n u có l i phát sinh thì chỉ phát hi n ch không s a đ c.

y
110 w3=111 x
w1=010
101
100
000 z
w2=001
C n Hamming.
Đ t v n đ : trong t ng s 2n dãy nh nhân dài n bit có th ch n ra bao nhiêu dãy đ t o thành m t
b mã có th t đi u chỉnh đ c e bit l i. Đ nh lý c n Hamming cho chúng ta xác đ nh s t mã
có đ dài n bit v i gi thi t: có kh năng t s a đ c e bit l i (đi u ki n c n t s a l i).
Đ nh lý: N u b mã W có s t mã có đ dài n bit có th t s a đ c e bit l i thì

s≤ e
∑ C ni
2n
i =1
Ghi chú: Cni = n!/(i!*(n-i)!)
Ch ng minh:
Xét t mã nh phân wi có đ dài n bit và có kh năng t s a đ

S dãy vj sai khác v i wi t 0 đ n e bit là : C n0 + C n1 + C n2 + ... + C ne = ∑ C ni
c e bit l i.
e
i =0
ng ng v i s t mã, t ng s dãy vj có th t s a l i là : s.∑ C ni ≤ 2 n

e
T
i =0
(2n là t ng s dãy nh phân dài n bits).
=> s ≤
∑C
2n
e
i
i =1
n
Phân các d ng l i
Gi s ta truy n t mã n bit wi ∈ W ( 1 ≤ i ≤ s) và nh n đ c dãy n bit vj ( 1≤ j ≤ 2n).
Các lo i l i có th phát hi n sau:
L i có th t đi u chỉnh:
Trong tr ng h p này t n t i duy nh t t mã w*i sao cho d(vj, w*i)= Min d(vj, wk) v i ∀wk ∈ W.
=> vj đ c gi i mã v w*i
L i chỉ phát hi n không đi u chỉnh đ c:
d(vj, w*i)= d(vj, w**i)=Min d(vj, wk) v i ∀wk ∈ W

Trong tr ng h p này t n t i t mã w*i và w**i sao cho
=> vj không th gi i mã chính xác.
L i không phát hi n đ c.
Trong tr ng h p ta gi i mã ra w*i nh ng khác v i wi đã truy n.
Bài t p
1. Cho n=7 và e=2, hãy áp d ng đ nh lý c n Hamming cho biêt s t mã t i đa c a b mã W.
2. Cho n=7 và e=2, hãy áp d ng đ nh lý c n Hamming cho biêt s t mã t i đa c a b mã W.
3. Hãy cho m t ví d c th minh h a các tr ng h p phân lo i l i.
BÀI 5.3: MÃ KI M TRA CH N L

M c tiêu:
- Hi u b mã ki m tra ch n l ,
- Hi u ph ng pháp ki m tra ch n l ,
- Bi t tính ch t c b n c a ph ng pháp ki m tra ch n l ,

- Hi u và v n d ng t t ph ng pháp sinh mã ki m tra ch n l ,
- Hi u và v n d ng t t Đ nh lý quan h gi a đ dài mã n, s bit ki m tra m và s l i t s a
e,
- V n d ng cho các bài h c ti p theo.
B mã ki m tra ch n l
B mã ki m tra ch n l là b mã g m s t mã, trong đó m i t mã có d ng sau:
w’=r1r2r3…rm rm+1rm+2…rm+k (v i n = m+k).
m bit ki m tra k bit thông tin
Ghi chú: trong m t s tr ng h p sinh mã theo ph ng pháp ki m tra ch n l , th t các bit ki m

tra và các bit thông tin có th xen k nhau (theo m t th t nào đó, ch ng h n nh mã
Hamming,…) hay cũng có th theo m t th t khác (theo quy c khác). đây, ta ch n th t
các bit ki m tra ch n l và các bit thông tin nh trên đ d tính toán nh ng v n m t tính t ng quát
hóa.
Trong đó: w’ vi t theo dong là chuy n v c a w (w đ c vi t theo c t)

+ ri: là bit th i c a t mã ( 1≤ i ≤ n).
+ n: đ dài c a t mã hay s bit c a t mã ch n l .
+ k = n-m: s bit thông tin ⇒ s=2k (vì v i k bit thông tin thì ta chỉ có th bi u diên t i đa
+ m: s bit ki m tra.
2k tr ng thái thông tin k bit).

+ Đo n ki m tra: g m m bit dùng đ ki m tra mã sai.
+ Đo n thông tin: g m k bit thông tin.
M i đo n mã thông tin có duy nh t m t đo n mã ki m tra và đ c xác đ nh b i h ph ng trình
⎧ a11 r1 + a12 r2 + ... + a1n rn = 0

tuy n tính nh phân sau:
⎪a r + a r + ... + a r = 0
⎪ 21 1
⎨
⎪ ...
22 2 2n n
⎪⎩a n1 r1 + a n 2 r2 + ... + a nn rn = 0
... ... ... ...
G i A=||aij|| =Am x n , aij ∈{0,1}, i= 1, m , j= 1, n . Ma tr n A đ c g i là ma tr n ki m tra ch n l có

h ng là m (hay Rank(A) = m).
Các phép toán trong Modulo 2 (+,-):
0 + 1 = 1 + 0 = 1; 0 – 1 = 1 – 0 = 1;
1 + 1 = 1 – 1 = 0;
Ph ng pháp ki m tra ch n l
G i w’=r1r2…rn là t mã truy n (hay dãy n bit truy n) và v’=r1r2…rn là dãy n bit nh n đ c.
Qui c: v’, w’ (l n l t là chuy n v c a v và w) đ c vi t theo dòng. Còn v, w đ c vi t theo

c t.
N u A.v = 0 thì v = w, ta g i v là ch n (tr ng h p nh n đúng)
N u A.v ≠ 0 thì v ≠ w, ta g i v là l (tr ng h p nh n sai).
Ta g i z = v-w là b l i gi a v và w. Nghĩa là t i các v trí z = {0} thì bit nh n đ c t ng ng là

bit đúng và t i các v trí z = {1} thì bit nh n đ c t ng ng là bit sai (hay bit l i).
Ta g i C = A.v là b s a l i (hay b đi u chỉnh l i).
Ta có C = A.z = A.(v-w) = A.v-A.w = A.v ⇒ C = A.v = A.z
Tính ch t c a b s a l i: dãy n bit nh n đ c v và b l i t ng ng có cùng b đi u chỉnh.
Ph ng pháp sinh mã ki m tra ch n l

Gi s : cho tr c ma tr n ki m tra ch n l A v i Rank(A) = m.
Tìm b mã ch n l W={w1, w2, w3,…,ws}
B c 0: Xác đ nh các giá tr n, m, k, s

Đ dài c a t mã n= s c t c a ma tr n A.
S bit ki m tra m= s dòng c a ma tr n A.
S bit thông tin: k = n-m.
S t mã s=2k c a b mã.
B c i: Tìm các t mã th i (1≤ i ≤ s):

G i kpi là tri n khai nh phân k bit c a s i
T mã c n tìm là: w’i=r1r2..rmkpi
Gi i h ph ng trình A.wi=0 đ tìm m bit ki m tra ng v i k bit thông tin (kpi) đã bi t
=> t mã wi
Ví d sinh mã ki m tra ch n l
Xây d ng b mã ki m tra ch n l đ c sinh t ma tr n ki m tra A nh sau:
⎡1 0 0 1 1 0⎤
A= ⎢⎢0 1 1 1 0 1⎥⎥ Rank(A) = 3
⎢⎣1 0 1 1 0 1⎥⎦
B c 0:
n=6 (= s dòng c a ma tr n A)
m=3 (= s c t c a ma tr n A)
S bit thông tin k = n – m = 3 => S t mã s=2k=8 t mã.
B c i: Tìm t mã th i (1≤ i ≤ s):

w’1=r1r2r3000 (000 là tri n khai nh phân k=3 bits c as i=0)
⎡ r1 ⎤
Gi i h ph ng trình A.w1=0
⎢r ⎥
⎡1 0 0 1 1 0⎤ ⎢ 2 ⎥ ⎡0⎤ ⎧r1 = 0 ⎧r1 = 0
⎢0 1 1 1 0 1 ⎥ ⎢ r3 ⎥ ⎢ ⎥ ⎪ ⎪
⎢ ⎥ ⎢ ⎥ = ⎢0⎥ => ⎨r2 + r3 = 1 => ⎨r2 = 0 => w’1=001001
⎢⎣1 0 1 1 0 1⎥⎦ ⎢ 0 ⎥ ⎢0⎥ ⎪r + r = 1 ⎪r = 1
⎢0⎥ ⎣ ⎦ ⎩1 3 ⎩3
⎢ ⎥
⎢⎣ 1 ⎥⎦
Gi i h ph ng trình A.w2=0
⎡ r1 ⎤
⎢r ⎥
⎡1 0 0 1 1 0⎤ ⎢ ⎥ ⎡0⎤ ⎧r1 = 1 ⎧r1 = 1
⎢0 1 1 1 0 1⎥ ⎢ r3 ⎥ = ⎢0⎥ => ⎪r + r = 0 => ⎪r = 1 =>w’ =111010
2
⎢ ⎥ ⎢0⎥ ⎢ ⎥ ⎨2 3 ⎨2
⎢⎣1 0 1 1 0 1⎥⎦ ⎢ ⎥ ⎢0⎥ ⎪ ⎪
⎩r1 + r3 = 0 ⎩r3 = 1
2
⎢1⎥ ⎣ ⎦
⎢ ⎥
⎣⎢ 0 ⎦⎥
Gi i t ng t cho các tr ng h p còn l i ta có:
w’0=000000, w’3=110011, w’4=110100,
⇒ W={000000, 001001, 111010, 110011, 110100, 111101, 001110, 000111}

w’5=111101, w’6=001110, w’7=000111.
Đ nh lý quan h gi a đ dài mã n, s bit ki m tra m và s l i t s a e

Đi u ki n c n (C n Hamming):
Đi u ki n c n đ b mã ch n l có đ dài n bit có th t s a đ c e bit l i v i k bit thông tin và m
2 m ≥ ∑ C ni
bit ki m tra là:
e
i =0
Đi u ki n đ ( ĐK Vasharmov-Gilbert-Sacks):
Đi u ki n đ đ b mã ki m tra ch n l có đ dài n bit v i m bit ki m tra ch n l có th t s a
đ c e bit l i là:
∑C
2 e −1
2m > n −1
i
i =0
i
Ghi chú: Cn = n!/(i!*(n-i)!)
Ví d tìm m nh nh t t n và e
Gi s bi t tr c n=7 và e=1. Tìm s bit ki m tra t i thi u c n thi t c a b mã ch n l .
Theo đ nh lý đi u ki n c n (C n Hamming):
Ta có: 2 m ≥ ∑ C ni
e
i =0
⇔ 2 m ≥ ∑ C 7i (*)
e =1
i =0
m = 1 ⇒ (*) sai.
m = 2 ⇒ (*) sai.
m ≥ 3 ⇒ (*) đúng.
V y s bit ki m tra t i thi u c n thi t là m = 3.
Ví d tìm e l n nh t t m và n
Gi s cho tr c m=3, k=2. Tìm s bit l i l n nh t có th t s a e?
Theo đ nh lý đi u ki n đ (ĐK Vassharmov-Gilbert-Sacks):
∑ C ni −1 ⇔ 2 3 ≥ ∑C
2 e −1 2 e −1
2m ≥ 5−1
i
(*)
i =0 i =0
e =1 ⇒ (*) đúng.
e > 1 ⇒ (*) sai.
V y s bit l i l n nh t có th t s a là e = 1.
Bài t p
1. Xây d ng b mã ki m tra ch n l đ c sinh t ma tr n ki m tra A nh sau:
⎡1 0 0 1 1 1⎤
A = ⎢⎢0 1 1 1 0 1⎥⎥
⎢⎣1 0 1 1 0 1⎥⎦
2. Tìm b mã ki m tra ch n l đ c sinh t ma tr n ki m tra A nh sau:
⎡1 0 0 1 1 1⎤
A = ⎢⎢0 1 0 1 0 1⎥⎥
⎢⎣1 0 1 1 0 1⎥⎦
¾ G i ý gi i bài t p 1 & 2: d a vào ph ng pháp sinh mã ki m tra ch n l và tham kh o ví
d sinh mã ki m tra ch n l .
3. Xét b mã ki m tra ch n l đ dài 15 bit có th t s a đ c 1 bit l i trên đ ng truy n, hãy

cho bi t s bit ki m tra ch n l t i thi u?
4. Xét b mã ki m tra ch n l đ dài 8 bit v i 4 bit ki m tra ch n l . Hãy cho bi t s l i t s a
t i đa c a b mã?
G i ý gi i bài t p 3 & 4: d a vào đinh lý Đi u ki n c n (C n Hamming) và Đi u ki n đ
(ĐK Varshamov-Gilbert-Sacks).
BÀI 5.4: NHÓM C NG TÍNH VÀ B T MÃ CH N L

M c tiêu.
Hi u Khái ni m nhóm c ng tính,
Bi t các tính ch t c a b mã ch n l ,
V n d ng sinh ma tr n ki m tra chắn l t b mã ki m tra ch n l .
V n d ng t t ph ng pháp sinh b mã ki m tra ch n l t các t mã đ c l p tuy n
tính c a b mã.
Khái ni m nhóm c ng tính.

Đ tv nđ :
Nh chúng ta đã bi t, ph ng pháp sinh mã ki m tra ch n l giúp ta sinh b mã ki m tra ch n l
v i s t mã t ng ng là s=2k. V i ph ng pháp này, ta ph i xác đ nh t ng t mã m t (bằng
cách gi i h ph ng trình tuy n tính nh phân). Gi s : k=5 ta ph i xác đ nh s=25 =32 t mã hay
k=10 ta ph i xác đ nh s=210=1024 t mã,…Đi u này s m t nhi u th i gian n u k càng l n. V n
đ đ t ra đây là tìm ra m t ph ng pháp sinh b mã ki m tra ch n l nhanh h n v m t th i
gian. Ph ng pháp sinh mã ki m tra ch n l d a theo lý thuy t nhóm s gi i quy t v n đ này.
Khái ni m nhóm c ng tính:

Nhóm G đ c g i là m t nhóm c ng tính n u G có các tính ch t:
- ∀ a, b ∈ G ⇒ a+b ∈ G ( tính ch t c ng).
- ∀ a, b, c ∈ G ⇒ a + (b + c)= (a + b) + c ( tính ch t k t h p).
- ∃ ∅ ∈ G sao cho ∅ + a = a + ∅ = a, ∀a∈ G (∅ là Identity Element c a G).
- ∀ a ∈ G ∃ -a∈G : a + (-a)=∅
Nhóm G là nhóm hoán v (nhóm Aben) n u ∀a,b ∈ G=> a + b = b + a.
Ví d :
- T p h p các s nguyên v i phép + thông th ng là nhóm Aben.
- T p h p các s nh phân có đ dài n bit cùng v i phép + trong Modulo 2 t o thành nhóm
Aben.
Tính ch t c a b mã ch n l
Tính t ng đ ng c a b mã nhóm c ng tính và b t mã ki m tra ch n l đ c th hi n qua 2
đ nh lý sau:
Đ nh lý 1: t p h p các t mã trong b mã ki m tra ch n l là m t nhóm c ng tính.

(Đ ngh sinh viên ch ng minh đ nh lý này d a vào các tính ch t c a nhóm c ng tính)
Đ nh lý 2: N u t p h p W là t p các dãy nh phân v i đ dài các dãy cùng bằng n và W là m t

nhóm Aben v i phép c ng Modulo 2 thì W có th xem nh m t b mã ki m tra ch n l đ c sinh
ra t ma tr n A có d ng nh sau:
⎡ b11 ... b1k ⎤

⎢ b ... b2 k ⎥⎥
b12
A = ⎢ I m 21
b22
⎢ ... ... ... ⎥
⎢ ⎥
...
⎣ bm1 bm 2 ... bmk ⎦
Trong đó:
- Ma tr n A có m dòng và n c t.
- Im : là ma tr n đ n v c p m.
- k: là s dãy nh phân (hay t mã) đ c l p tuy n tính l n nh t.
- n: là đ dài c a t mã và m = n-k:
- bij: đ c xác đ nh bằng cách d a vào h ph ng trình tuy n tính (*) và k t mã đ c l p
tuy n tính nh sau:
w’i=r1r2r3…rm rm+1rm+2…rn. (∀i = 1, k )
Đo n ki m tra Đo n thông tin
⎧r1 = b11rm +1 + ... + b1k rm + k

⎪
(*)⎨....................................
⎪r = b r + ... + b r
⎩m m1 m +1 mk m + k
Th k t mã đ c l p tuy n tính vào h pt (*) đ tìm các bij ⇒ ma tr n A.
Ví d minh h a
Xét t p h p M g m có 8 dãy nh phân dài 6 bits nh sau:
r1 r2 r3 r4 r5 r6
w’0 = 0 0 0 0 0 0
w’1 = 1 0 1 0 0 1
w’2 = 1 1 0 0 1 0
w’3 = 0 1 0 1 0 1
w’4 = 0 1 1 0 1 1 (w’1+w’2)
w’5 = 1 1 1 1 0 0 (w’1+w’3)
w’6 = 1 0 0 1 1 1 (w’2+w’3)
w’7 = 0 0 1 1 1 0 (w’1+w’2+w’3)
Ta th y {w1, w2, w3} là t p h p l n nh t các t mã đ c l p tuy n tính t t p h p M:
w’1 = 1 0 1 0 0 1
w’2 = 1 1 0 0 1 0
w’3 = 0 1 0 1 0 1
⇒ n=6 và k=3. => m = n – k = 3.
Nh v y: ma tr n ki m tra ch n l có d ng nh sau:
⎡ b11 b12 b13 ⎤
⎢ b21 b22 b23 ⎥⎥
A = I3⎢
⎢ ⎥
⎢ ⎥
⎣ b31 b32 b33 ⎦
Các bij ( ∀i, i = 1,3 ) đ c xác đ nh t h ph ng trình tuy n tính nh phân sau:
⎧⎛1 ⎞ ⎛ 0⎞ ⎛ 0⎞ ⎛1 ⎞
⎪⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟
⎪⎜ ⎟ = ⎜ ⎟ + ⎜ ⎟ + 13 ⎜ 0 ⎟
⎜ ⎟
⎪⎝ 0 ⎠ ⎜ ⎟ ⎜ ⎟ ⎜1 ⎟
1 b 0 b 1 b
⎝1 ⎠ ⎝ 0⎠ ⎝ ⎠
11 12
⎪
⎪⎛ 0 ⎞ ⎛ 0⎞ ⎛ 0⎞ ⎛1 ⎞
⎪⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟
=> ⎨⎜1 ⎟ = b21 ⎜ 0 ⎟ + b22 ⎜1 ⎟ + b23 ⎜ 0 ⎟
⎪⎜1 ⎟ ⎜1 ⎟ ⎜ 0⎟ ⎜1 ⎟
⎪⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠
⎪⎛1 ⎞ ⎛ 0⎞ ⎛ 0⎞ ⎛1 ⎞
⎪⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟
⎪⎜ 0 ⎟ = b31 ⎜ 0 ⎟ + b32 ⎜1 ⎟ + b33 ⎜ 0 ⎟
⎪⎜ 0 ⎟ ⎜1 ⎟ ⎜ 0⎟ ⎜1 ⎟
⎩⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠
b11 = 1 b12 = 1 b13 = 1
=> b21 = 1 b22 = 1 b23 = 0
b31 = 1 b32 = 0 b33 = 1
⎛1 0 0 1 1 1⎞
⎜ ⎟
=> A= ⎜ 0 1 0 1 1 0 ⎟
⎜ 0 0 1 1 0 1⎟
⎝ ⎠
V y ta có th s d ng nhóm M nh là m t b mã ki m tra ch n l .
Ph ng pháp sinh mã ki m tra ch n l nhanh

B c kh i t o: xác đ nh các giá tr n, m, k, s.
B c 1: sinh k t mã đ c l p tuy n tính (đltt).
B c 2: c ng t h p các t mã:
+ C ng các t h p c a 2 t mã t k mã đltt => có C k2 t mã.
----
+ C ng các t h p c a k t mã t k t mã đltt => có C kk t mã.
B c 3: C ng s-1 t mã đã tìm đ c đ tìm t mã cu i cùng => C k0 = 1 t mã.
T ng s t mã s= ∑ C ki = 2 k t mã.
k
i =0
Ví d sinh mã ki m tra ch n l nhanh

⎡1 0 0 1 1 0 ⎤
Tìm b mã nhóm khi bi t tr c ma tr n ki m tra A = ⎢⎢0 1 1 1 0 1⎥⎥
⎢⎣1 0 1 1 0 1⎥⎦
k
B c kh i t o: n = 6, m = 3, k = 3, s = 2 = 8.
B c 1: Sinh k = 3 t đ c l p truy n tính: w’1=001001, w’2=111010, w’3=110100

B c 2: C ng t h p các t mã.
+ C ng các t h p 2 t mã đltt:
w’4=w’1+w’2=110011
w’5=w’1+w’3=111101
w’6=w’2+w’3=001110
+ C ng các t h p 3 t mã đltt:
w’7=w’1+w’2+w’3=001111
B c 3: xác đ nh t mã cu i cùng:
w’0=w’1+w’2+w’3+w’4+w’5+w’6+w’7=000000
Bài t p
1. S d ng ph ng pháp sinh mã nhanh cho b mã t ma tr n ki m tra A nh sau:
⎡1 0 0 1 1 1⎤
A = ⎢⎢0 1 1 1 0 1⎥⎥
⎢⎣1 0 1 1 0 1⎥⎦
2. S d ng ph ng pháp sinh mã nhanh cho b mã t ma tr n ki m tra A trong các tr ng h p

sau:
⎛0 1⎞ ⎛0 1⎞ ⎛1 1⎞
⎜ ⎟ ⎜ ⎟ ⎜ ⎟
0 0 1 0 0 1 1 1 0 0 0 1
⎜0 0⎟ ⎜0 0⎟ ⎜0 0⎟
A=⎜ ⎟ ; A=⎜ ⎟ ; A=⎜
1⎟
0 1 0 1 1 1 1 1 1 0 0 1
⎜ ⎟ ⎜ ⎟ ⎜ ⎟
⎜1 ⎟ ⎜ ⎟ ⎜ 1 ⎟⎠
0 1 0 1 0 0 1 1 1 1 0 0 0 0 1 0 1
⎝ 0 1 0 0 0⎠ ⎝1 1 1 0 0 1⎠ ⎝0 0 0 1 0
BÀI 5.5: L CĐ S AL IT I U
M c tiêu
- Bi t đ c v n đ c a bài toán,
- Hi u Đ nh nghĩa Hi p h p,
- V n d ng đ xây d ng l c đ s a l i theo các hi p h p,
- V n d ng đ xây d ng l c đ s a l i thông qua b s a l i,
- V n d ng tính Xác su t truy n đúng cho l c đ s a l i,
- Ki n th c đ t đ c s là c s đ các b n có th ng d ng cho vi c thi t k m t h , th ng
mã hóa, gi i mã và b o m t thông tin.
Đ tv nđ
Trong m t h th ng liên l c truy n tin, bên c nh các yêu c u thi t b (nh ngu n phát, b mã hóa,
kênh truy n, b gi i mã,…) đ m b o t t cho vi c truy n và nh n d li u thì còn có các khía c nh
khác nh ph ng pháp mã hóa và gi i mã sao cho t i u là ph n r t quan tr ng trong h th ng.
V n đ luôn đ c đ t ra đây là làm th nào đ chỉ ra m t ph ng pháp gi i mã t i u, có nghĩa
là h th ng ph i có kh năng phát hi n và s a l i m t cách chính xác nh t có th có khi nhi u x y
ra. Đây chính là v n đ chính đ c th o lu n trong su t bài h c này.
Đ nh nghĩa Hi p h p
G i W={w1, w2, …,ws} là b mã ki m tra ch n l .
V ={v1, v2, …, v 2 n } là t p h p các dãy n bit có th nh n đ c cu i kênh.
Ta g i m t hi p h p c a W trong V là t p h p có d ng z + W (z là b l i)
⎡1 0 1 0⎤
Ví d : Cho ma tr n ki m tra ch n l sau:
A=⎢
⎣0 1 1 1⎥⎦
T A, ta có th xây d ng đ c b mã t ng ng sau: W={w’0=0000, w’1=0101, w’2=1110,

w’3=1011}.
Ta có th th y rằng, các b l i m t bit khác nhau có th có là z={1000, 0100, 0010, 0001}. Do đó

các hi p h p ng v i các b l i 1 bit s là:
w0 w1 w2 w3
0000 0101 1110 1011
Hi ph p1 1000 1101 0110 0011 (v i z1=1000)

Hi ph p2 0100 0001 1010 1111 (v i z2=0100)
Hi ph p3 0010 0111 1100 1001 (v i z3=0010)
Hi ph p4 0001 0100 1111 1010 (v i z4=0001)
Trong đó: hi p h p i = wi + zi, các b n có th xét thêm các b l i sai 2 bit, 3 bit, … đ đ c các
hi p h p ng v i các b l i sai 2 bit, 3bit,….
L c đ s a l i theo các hi p h p
- Dòng đ u tiên vi t các t mã wi ∈ W.

B c 1: L p b ng các hi p h p ng v i các b l i c n thi t
- Các dòng ti p theo ng v i c t w0 = 00…00 vi t các b l i z (các b l i 1 bit, 2 bit,…).

- Các dòng c t th i đ c xác đ nh b i z + wi
B c 2: Quá trình gi i mã
Gi i mã: khi nh n v, ta xác đ nh c t th i ch a v và gi i mã v wi t ng ng.
Ví d : xây d ng l c đ s a l i theo các hi p h p cho b mã đ c sinh t ma tr n ki m tra ch n
⎡1 0 1 0⎤
l sau:
A=⎢ ⎥
⎣0 1 1 1 ⎦
T A, ta có th xây d ng đ c b mã t ng ng sau: W={w’0=0000, w’1=0101, w’2=1110,

w’3=1011}.
B c 1: L p b ng các hi p h p ng v i các b l i c n thi t:
Ta xây d ng các hi p h p ng v i các b l i sai 1 bit. V y z={1000, 0100, 0010, 0001}.
w0 w1 w2 w3
0000 0101 1110 1011
Hi ph p1 1000 1101 0110 0011 (v i z1=1000)

Hi ph p2 0100 0001 1010 1111 (v i z2=0100)
Hi ph p3 0010 0111 1100 1001 (v i z3=0010)
Hi ph p4 0001 0100 1111 1010 (v i z4=0001)
(B ng các hi p h p)
B c 2: Quá trình gi i mã:
Gi s nh n v = 0111. Tra tìm v trên b ng các Hi p h p ta có v c t 1. Do đó, v đ c
gi i mã v w1 = 0101.
Gi s nh n v = 1010. Tra tìm v trên b ng các Hi p h p ta có v c t 2 hay c t 3. Do đó, v đ c

gi i mã v w2 hay w3, trong tr ng h p này gi i mã không chính xác. Đ ngh các b n l u ý và
cho ý ki n c a b n v các tr ng h p gi i mã không chính xác này.
L c đ s a l i thong qua b l i
Đ xây d ng l c đ s a l i thông qua b s a l i, ta d a vào tính ch t c a b s a l i. Nh v y ta
có th th y l c đ gi i mã g m 2 b c sau:
B c 1: L p b ng s a l i: B l i (Z) – B s a l i (C=A*Z).
- Khi nh n đ c dãy n bit v ∈V, ta xác đ nh b đi u l i C cho v v i C=A.v

B c 2: Quá trình s a l i
- Tra b ng s a l i đ tìm b l i z0 ng v i C.
- Gi i mã w=v+z0.
Ví d minh h a l c đ s a l i 1 bit
⎡1 0 0 0 1 1⎤
⎢0 1 0 0 1 0 ⎥
Xét b mã đ c sinh t ma tr n A = ⎢ ⎥
⎢0 0 1 0 1 1 ⎥
⎢ ⎥
⎣0 0 0 1 0 1 ⎦
B mã t ng ng đ c xác đ nh là: w1=000000, w2=101101, w3=111010, w4=010111
(Đ ngh các b n tham kh o ph ng pháp sinh mã ch n l và xây d ng l i b mã t ma tr n ki m

tra ch n l A).
L c đ s a l i:
B c 1: L p b ng s a l i: B l i- B đi u chỉnh (e = 1)
B l i (z’) B đi u chỉnh (C’=A.z)
B 0l i 000000 0000 1B
B l i 1 bit 100000 1000
010000 0100
001000 0010 6 B
000100 0001
000010 1110
000001 1011
B c 2: Quá trình s a l i
- Gi s nh n v=001101, tính C = A.v = 1000
- Tra b ng s a l i đ tìm b l i z0 ng v i C, ta có z0 = 100000
- Gi i mã w = v + z0 = 001101 + 100000 = 101101 = w2
L c đ s a l i:
B l i (z’) B đi u chỉnh (C’=A.z)
B l i 2 bit 110000 1100

101000 1010
100100 1001
100010 0110
100001 0011 7B
011000 0110
010100 0101
(T t c các b 2 l i còn l i có trùng b đi u chỉnh v i các b trên)

B c 2: Quy trình s a l i
- Gi s nh n v=100111, tính C = A.v = 1100
- Tra b ng s a l i đ tìm b l i z0 ng v i C, ta có z0 = 110000
- Gi i mã w = v + z0 = 100111 + 110000 = 010111 = w4
L c đ s a l i:
z’ C=A.z
B l i 3 bit 110100 1101 2B

110001 0111
(T t c các b 3 l i còn l i có trùng b đi u chỉnh v i các b trên)
B c 2: Quy trình s a l i
Gi s nh n v=011001, tính C = A.v = 1101
Tra b ng s a l i đ tìm b l i z0 ng v i C, ta có z0 = 110100
Gi i mã w=v + z0 = 011001 + 110100 = 101101 = w2
Chú ý:
T ng s b đi u chỉnh = 2m. Trong m t s tr ng h p, b mã ch n l chỉ cho phép phát hi n l i
trên đ ng truy n và không th gi i mã chính xác do t ng s b đi u chỉnh = 2m và s b l i có
th l n h n nhi u (so v i t ng s b đi u chỉnh).
Xác su t truy n đúng

G i Ni là s b l i ng v i i l i có th t s a, khi đó xác su t truy n đúng và t đi u chỉnh s là:
P (e' ) = ∑ Ni.β i.(1 − β i ) n −i
n
i =0
V i n là đ dài t mã
P (e' ) = ∑ Ni.β i.(1 − β i ) n −i = (1 − β ) 6 + 6 β (1 − β ) 5 + 7 β 2 (1 − β ) 4 + 2 β 3 (1 − β ) 3

Ví d : xét tr ng h p các ví d trên v i n= 6 và t s a e = 3 bit l i. Áp d ng công th c trên ta có:
3
i =0
Bài t p
1. Cho ma tr n ki m tra ch n l sau:
⎡1 0 0 1 1 1⎤
A = ⎢⎢0 1 1 1 0 1⎥⎥
⎢⎣1 0 1 1 0 1⎥⎦
- Xây d ng b mã ki m tra ch n l .
- Minh h a quy trình s a l i 1 bit.
2. T k t qu c a bài t p 1, hãy minh h a l c đ s a l i thông qua b đi u chỉnh trong các

tr ng h p l i 1 bit, 2 bit. Tính xác su t truy n đúng cho các tr ng h p có th t s a đ c.
BÀI 5.6: MÃ HAMMING

M c tiêu
- Hi u Mã Hamming,
- Hi u tính ch t c a mã Hamming.
Mã Hammin
Mã Hamming là m t d ng mã nhóm (mã ki m tra ch n l ) đ c xác đ nh t ma tr n ki m tra ch n
l A có d ng sau:
- C t th j c a ma tr n A là bi u di n nh phân m bit (m là s bit ki m tra ch n l ) c a
s j theo qui c bi u di n nh phân c a s j đ c vi t theo th t t d i lên trên (vi t
theo c t), t ng đ ng v i vi t t trái sang ph i (vi t theo dòng).
- Các bit v trí 2i ( i = 0, 1, 2, …) đ c ch n làm bit ki m tra.
Ví d 1: bi u di n nh phân c a s j = 3 có m = 3 bit nh sau:

Vi t theo dòng: 011 (vi t t trái sang ph i)
⎛1⎞
⎜ ⎟
Vi t theo c t: ⎜ 1 ⎟ (vi t t d i lên)
⎜ 0⎟
⎝ ⎠
Ví d 2: ma tr n ki m tra ch n l v i n=6, m=3 có th vi t nh sau:
⎡1 0 1 0 1 0 ⎤
A = ⎢⎢0 1 1 0 0 1 ⎥⎥
⎢⎣0 0 0 1 1 1 ⎥⎦
T mã Hamming có d ng: w=r1r2r3r4r5r6. Trong đó, r1r2r4 là các bit ki m tra và r3r5r6 là các bit
thông tin (vì các bit v trí 2i (v i i = 0, 1, 2, …) đ c ch n làm bits ki m tra).
Tính ch t
N u cho tr c s bit (m) và s bit l i t s a (e) thì s bit t i đa c a b mã Hamming (n) có th
đ c c l ng t b t đ ng th c sau:
2 m ≥ ∑ C ni
e
i =o
Ví d minh h a
Tìm b mã Hamming v i n = 6 và m =3
Ta có th vi t ngay ma tr n ki m tra ch n l cho b mã Hamming
⎡1 0 1 0 1 0 ⎤
A = ⎢⎢0 1 1 0 0 1⎥⎥
⎢⎣0 0 0 1 1 1⎥⎦
T A ⇒ k = n – m = 3.
Các bit các v trí 1, 2, 4 đ c ch n làm các bit ki m tra.
=> s t mã c a b mã Hamming là s = 2k = 8
Tìm k t mã đ c l p tuy n tính có d ng:
w’1=r1r20r401
w’2=r1r20r410
w’3=r1r21r400
Gi i các h ph ng trình: A.w1=0, A.w2=0, A.w3=0
Các t mã còn l i đ c xác đ nh theo ph ng pháp sinh mã nhanh.
Ghi chú: Kết quả chi tiết xây dựng bảng mã Hamming dành cho sinh viên tự làm.
Bài t p
1. Vi t ma tr n ki m tra ch n l cho b mã Hamming v i n = 15.
2. T k t qu bài t p 1, hãy tìm các t mã Hamming đ c l p tuy n tính t ng ng.
3. Xét b mã Hamming v i s bit ki m tra cho tr c là m, khi đó:
- Đ dài mã t i thi u là bao nhiêu?
- Đ dài mã t i đa là bao nhiêu?
BÀI 5.7: THANH GHI LÙI T NG B C

M c tiêu
Sau khi hoàn t t bài h c này b n có th bi t:
- Đ t v n đ v thanh ghi lùi t ng b c,
- Cách bi u di n v t lý c a thanh ghi,
- Cách bi u di n toán h c c a thanh ghi,
- Tìm chu kỳ c a thanh ghi.
Đ tv nđ
Nh chúng ta đã bi t, ph ng pháp sinh b mã ki m tra ch n l d a trên lý thuy t nhóm cho phép
chúng ta sinh mã nhanh bằng cách chỉ sinh ra k t mã đ c l p tuy n tính trong t ng s s=2k t mã,
t k t mã này ta có th xác đ nh các t mã còn l i (bằng cách c ng t h p các t mã). V n đ đ t
ra đây là làm sao đ tìm ra m t ph ng pháp sinh mã khác sao cho s t mã sinh ban đ u nh
h n k (k là s t mã đ c l p tuy n tính c a b mã ki m tra ch n l ) và t đây ta có th xác đ nh
nhanh các t mã còn. C th d a trên mô hình c a thanh ghi lùi t ng b c có th gi i quy t đ c
v n đ này.
Bi u di n v t lý c a thanh ghi
Đ g i m t cách ngắn g n, ta qui c g i thanh ghi thay vì goi thanh ghi lùi t ng b c. Bi u di n
v t lý c a thanh ghi có th th y nh hình v d i đây:
+ Fm-1 Fm-2 F1 F0
am-1 am-2 a1 a0
- Fm-1, Fm-2, …, F1, F0 : các bit l u tr d li u nh phân.

- am-1, am-2, …, a1, a0 : các công tắc (switch) dùng đ đóng (=1) hay m ( =0).
- + : là b làm tính c ng trong phép toán mudulo 2 sau m i xung đ ng h v i d li u

do các bit c a thanh ghi g i v .
Quá trình d ch chuy n lùi t ng b c: sau m i xung đ ng h thì d li u trong bit Fi s đ c

chuy n v l u tr bit Fi-1 (F1-> F0; F2->F1; …; Fm-2->Fm-3; Fm-1->Fm-2). T t c các giá tr trên
các Fi (tr c khi có xung đi n) s đ c chuy n v b c ng (tùy theo các công tắc đóng hay m ),
t ng c a các giá tr này s đ c đ a vào l u tr bit Fm-1.
Ta s nghiên c u thanh ghi này c th h n trong các n i dung ti p theo nhằm tìm ra m t ph ng
pháp sinh mã mà ta có th g i là mã xoay vòng. Đây cũng là m t d ng mã ki m tra ch n l .
Bi u di n toán h c c a thanh ghi

M c tiêu c a vi c bi u di n toán h c là đ tìm ra các mô hình tính toán ph c v cho vi c nghiên
c u sinh mã xoay vong ch n l t thanh ghi.
G i x = (x0, x1, …, xm-2, xm-1) là giá tr các bit c a thanh ghi t i th i đi m tr c khi có nh p xung
đ ng h .
x’ = (x’0, x’1, …, x’m-2, x’m-1) là giá tr các bit c a thanh ghi sau khi có nh p xung đ ng h .
Khi đó ta có:
x’0=x1
x’1=x2
x’2=x3
----------
x’m-2=xm-1
x’m-1=a0x0 + a1x1 + …+ am-1xm-1.
Hay vi t theo d ng ma tr n ta có x’ = T.x

Trong đó:
⎡0 ⎤
⎢0 ⎥
1 0 0 0 0 0 - T: Ma tr n vuông c p m.
⎢ ⎥
0 1 0 0 0 0 - Dòng cu i c a ma trân: là các h s : a0,
⎢0 ⎥ a1, …, am-1.
⎢ ⎥
0 0 1 0 0 0
G c trên bên ph i: là ma tr n đ n v c p
T= ⎢ 0 0 ⎥
-
⎢ ... ... ⎥
0 0 0 ... 0 m-1.
⎢ ⎥
... ... ... ... ...
⎢0 1 ⎥
⎢a a m −1 ⎥⎦
0 0 0 .. 0
⎣ 0 a1 a 2 a3 ... a m − 2
T đ c g i là ma tr n đ c tr ng c a thanh ghi lùi t ng b c.

Quá trình d ch chuy n lùi t ng b c c a thanh ghi:
⎛ x0 ⎞
⎜ ⎟
⎜ x2 ⎟
G i x(0)= ⎜ x3 ⎟ là véc t chỉ giá tr c a thanh ghi t i th i đi m đang xét.
⎜ ⎟
⎜ M ⎟
⎜x ⎟
⎝ m −1 ⎠
Giá tr c a thanh ghi sau 1 xung đ ng h là x(1)=T.x(0)
Giá tr c a thanh ghi sau 2 xung đ ng h là x(2)=T.x(1)=T2.x(0)
-----------
Ví d thanh ghi lui t ng b c

Cho thanh ghi lui t ng b c sau:
+ F3 F2 F1 F0
T thanh ghi, ta có: m=4, a0=1, a1=0, a2=1, a3=0.
⎡0 0⎤
⎢0 0⎥⎥
1 0
Ma tr n đ c tr ng c a thanh ghi: T= ⎢
0 1
⎢0 1⎥
⎢ ⎥
0 0
⎣1 0 1 0⎦
Chu kỳ c a thanh ghi

Nh đã trình bày trên v quá trình d ch chuy n lùi t ng b c c a thanh ghi:
⎛ x0 ⎞
⎜ ⎟
⎜ x2 ⎟
i x(0)= ⎜ x3 ⎟
⎜ ⎟
N u ta g là véc t chỉ giá tr c a thanh ghi t i th i đi m kh i t o thì các giá
⎜ M ⎟
⎜x ⎟
tr c a thanh ghi các th i đi m ti p theo nh sau:
⎝ m −1 ⎠
Giá tr c a thanh ghi sau 1 xung đ ng h là x(1)=T.x(0)
----------------
Giá tr c a thanh ghi sau n xung đ ng h là x(n)=T.x(n-1)=Tn.x(0) (b i vì s tr ng thái thông tin khác
nhau có th có là 2m)
V y chu kỳ c a thanh ghi là s xung nh p đ ng h đ thanh ghi l p l i tr ng thái ban đ u. Nghĩa là

n u x(0)≠0 và ∃ n>0 sao cho x(n) = x(0) thì ta nói n là chu kỳ c a thanh ghi.
L u ý:
Cách vi t bi u di n nh phân cho giá tr c a x(i) theo th t t trên xu ng (theo c t), t ng ng v i
vi t t trái sang ph i (theo dòng). Ví d : bi u di n nh phân c a x(i) = 3 có m = 3 bit nh sau:
Vi t theo dòng: x(i) = 011 (vi t t trái sang ph i)
⎛0⎞
⎜ ⎟
Vi t theo c t: x = ⎜ 1 ⎟ (vi t t trên xu ng)
⎜1⎟
(i)
⎝ ⎠
Ví d tìm chu kỳ c a thanh ghi

Cho thanh ghi lui t ng b c nh hình sau:
+ F3 F2 F1 F0
⎡0 1 0 0 ⎤
T thanh ghi ta có: m=4, a0=1, a1=0, a2=1, a3=0.
⎢0 0 1 0 ⎥
Ma tr n đ c tr ng c a thanh ghi: T= ⎢ ⎥
⎢0 0 0 1 ⎥
⎢ ⎥
⎣1 0 1 0 ⎦
⎛ x0 ⎞ ⎛ 0 ⎞
⎜ ⎟ ⎜ ⎟
⎜ x ⎟ ⎜ 0⎟
Đ c giá tr kh i t o c a thanh ghi x =1= ⎜ 1 ⎟ = ⎜ ⎟
(0)
⎜ 2⎟ ⎜ ⎟
⎜ x ⎟ ⎜1⎟
x 0
⎝ 3⎠ ⎝ ⎠
⎛ 0⎞ ⎛ 0⎞ ⎛1⎞
Tìm chu kỳ:
⎜ ⎟ ⎜ ⎟ ⎜ ⎟
⎜ ⎟ ⎜ ⎟ ⎜ 0⎟
X(1)=T.x(0)= ⎜ ⎟ ⇒ x(2)=T.x(1)= ⎜ ⎟ ⇒ x(3)=T.x(2)= ⎜ ⎟
0 1
⎜ ⎟ ⎜ ⎟ ⎜ ⎟
⎜ 0⎟ ⎜1⎟ ⎜ 0⎟
1 0 1
⎝ ⎠ ⎝ ⎠ ⎝ ⎠
⎛0⎞ ⎛1⎞ ⎛0⎞
⎜ ⎟ ⎜ ⎟ ⎜ ⎟
⎜ ⎟ ⎜0⎟ ⎜ 0 ⎟ (0)
⇒ x(4)=T.x(3)= ⎜ ⎟ ⇒ x(5)=T.x(4)= ⎜ ⎟ ⇒ x(6)=T.x(5)= ⎜0⎟ = x
1
⎜ ⎟ ⎜ ⎟ ⎜ ⎟
⎜0⎟ ⎜0⎟ ⎜1⎟
0 0
⎝ ⎠ ⎝ ⎠ ⎝ ⎠
T ng t :
+ Khi ch n x(0) = 3 thi ta cũng có chu kỳ n = 6.
+ Khi ch n x(0) = 6 thì ta có chu kỳ n = 3.
+ Khi ch n x(0) = 0 thì ta có chu kỳ n = 1.
1 3 6
8 2 9 7 0
11 13
4 5 12 15
10
14
Chu kỳ n=6 Chu kỳ n=6 Chu kỳ n=3 Chu kỳ n=1
Thanh ghi trên có 4 chu kỳ.
Bài t p
1. Tìm các chu kỳ c a thanh ghi lui t ng b c nh hình sau:
+ F2 F2 F1 F0
2. Tìm các chu kỳ c a thanh ghi lui t ng b c nh hình sau:

+ F2 F1 F0
BÀI 5.8: MÃ XOAY VÒNG

M c tiêu
- Bi t cách xác đ nh ma tr n ki m tra ch n l cho mã xoay vòng (hay còn g i là mã

vòng),
- Hi u đ nh nghĩa mã xoay vòng,
- V n d ng xây d ng b mã xoay vòng,
- V n d ng ph ng pháp sinh nhanh b mã xoay vòng đ sinh b mã ki m tra ch n l .
Ma tr n ki m tra ch n l mã xoay vòng

Đ nh nghĩa: ma tr n ki m tra ch n l đ c thi t k t thanh ghi lùi t ng b c là ma tr n có d ng
sau:
A=[x(0)| T x(0)|T2 x(0) |…|Tn-1 x(0)] v i n là chu kỳ c a thanh ghi (n > m)
Trong đó:
- T là ma tr n đ c tr ng c a thanh ghi.
- x(0) ≠ 0: là giá tr kh i t o c a thanh ghi.
- n : là chi u dài c a t mã và cũng là chu kỳ c a thanh ghi.
- m: là s bit ki m tra hay s bit c a thanh ghi.
Ví d : xét l i ví d tìm chu kỳ thanh ghi, n u ch n giá tr kh i t o c a thanh ghi là x(0) = 1 thì ta
⎡0 0 0 1⎤
có ma tr n ki m tra v i chu kỳ n=6 nh sau:
⎢0 0 1 0⎥⎥
1 0
A =[ x x x x x x ]= ⎢
0 1
⎢0 1 0 0⎥
(0) (1) (2) (3) (4) (5)
⎢ ⎥
1 0
⎣1 0 1 0 0 0⎦
Đ nh nghĩa mã xoay vòng

Mã xoay vòng là mã ki m tra ch n l đ c sinh ra t ma tr n ki m tra ch n l ng v i chu kỳ n
c a thanh ghi lùi t ng b c có d ng nh :
A=[x(0)| Tx(0)|T2x(0) |…|Tn-1x(0) ]
⎡0 0 0 1 0 1 ⎤
Ví d : xét l i ma tr n ki m tra ch n l trên
⎢0 0 1 0 1 0 ⎥
A=⎢ ⎥ (chu kỳ n = 6)
⎢0 1 0 1 0 0 ⎥
⎢ ⎥
⎣1 0 1 0 0 0 ⎦
Ta có n = 6, m = 3, k = 2 ⇒ s = 2k = 22 = 4 t mã.
Áp d ng Ph ng pháp sinh mã nhanh b mã ki m tra ch n l ta có b mã ki m tra ch n l g m 4

t mã sau : w0 = 000000, w1 = 101010, w2 = 010101, w4 = 111111, đây chính là m t trong các b
mã xoay vòng sinh t thanh ghi lùi t ng b c nêu trên (Các bước sinh mã nhanh đề nghị các
bạn tự làm)
Ph ng pháp sinh nhanh b mã xoay vòng

Cách sinh nhanh k t mã đ c l p tuy n tính c a b mã vòng t a0, a1, a2, …, am-1:
B c 1: sinh mã xoay vòng đ u tiên
Sinh mã xoay vòng đ u tiên có d ng w1=a0a1a2…am-1 1000…00
k-1 bit 0
B c 2: sinh k -1 t mã đ c l p tuy n tính còn l i
w2= 0a0a1a2…am-11000…0 (d ch w1 sang ph i 1 bit).
k-2 bit 0
……….
wk= 000…00a0a1a2…am-11 (d ch t wk-1 sang ph i 1 bit).
k-1 bit 0
B c 3: xác đ nh các t mã còn l i c a b mã

Các t mã còn l i g m (2k – k t mã) đ c xác đ nh bằng cách c ng t h p c a 2, 3, …, k t mã
t k t mã đ c l p tuy n tính trên.
Ví d sinh nhanh b mã xoay vòng

Cho thanh ghi lui t ng b c nh hình sau:
+ F3 F2 F1 F0
T thanh ghi, ta có: m=4, n=6, a0=1, a1=0, a2=1, a3=0.
B c 1: Sinh mã xoay vòng đ u tiên

w1=101010
B c 2: Sinh k -1 t mã đ c l p tuy n tính còn l i
w2=010101
B c 3: Xác đ nh các t mã còn l i c a b mã
w3 =111111 (w1+w2), w0 =000000 (w1+w2 + w3)
B mã vòng v a sinh là W={000000, 101010, 010101, 111111)
Bài t p
1. Cho thanh ghi lùi t ng b c sau:
+ F2 F1 F0
- Tìm ma tr n ki m tra ch n l có s c t n > 4

- T k t qu câu a, xác đ nh b mã xoay vòng t ng ng.
- Tìm b mã xoay vòng theo ph ng pháp sinh nhanh b mã xoay vòng
2. Cho thanh ghi lùi t ng b c sau:
+ F3 F2 F1 F0
- Tìm ma tr n ki m tra ch n l có s c t n > 4

- T k t qu câu a, xác đ nh b mã xoay vòng t ng ng.
- Tìm b mã xoay vòng theo ph ng pháp sinh nhanh b mã xoay vòng.
BÀI 5.9: ĐA TH C Đ C TR NG C A THANH GHI

M c tiêu
- Hi u đ nh nghĩa đa th c đ c tr ng c a thanh ghi,
- Hi u Quan h gi a chu kỳ n, đa th c đ c tr ng và đa th c (xn + 1),
- V n d ng sinh thanh ghi lùi t ng b c,
- Làm c s đ v n d ng sinh b mã vòng.
Đ nh nghĩa đa th c đ c tr ng c a thanh ghi

Đ nh nghĩa: đa th c đ c tr ng c a thanh ghi có ma tr n đ c tr ng là T là đa th c có d ng
gm(x)=a0 + a1x+ a2 x2+ …+am-1xm-1 + xm.
v i a0, a1, a2,…, am-1 là các công tắc c a thanh ghi và m là s bit c a thanh ghi
Ví d : xét l i thanh ghi nh hình sau:

+ F3 F2 F1 F0
a0 = 1, a1= 0, a2 = 1, a3 = 0
Đa th c đ c tr ng c a thanh ghi có d ng: gm(x)=1 + x2 + x4.
Quan h gi a chu kỳ n, đa th c đăc tr ng và đa th c (xn + 1)

Đa th c đ c tr ng c a thanh ghi gm(x)=a0 + a1x+ a2 x2+ …+am-1xm-1 + xm luôn chia h t đa th c (xn
+ 1).
Ví d : xét l i thanh ghi lui t ng b c nh hình sau:
+ F3 F2 F1 F0
T thanh ghi ta có th xác đ nh các k t qu sau:

- a0 = 1, a1= 0, a2 = 1, a3 = 0
- Đa th c đ c tr ng c a thanh ghi có d ng: g4(x)=1 + x2 + x4.
- Thanh ghi này có chu kỳ n = 6.
Th c hi n phép chia đa th c (x6 + 1) : (1 + x2 + x4) = (x2 + 1) ⇒ chia h t.
Ghi chú: phép toán trên đa th c nh phân v n là phép toán Modulo 2.
Ví dụ: xét l i thanh ghi lui t ng b c nh hình sau:

+ F3 F2 F1 F0
a0 = 1, a1= 0, a2 = 1, a3 = 0
đa th c đ c tr ng c a thanh ghi có d ng: g4(x)=1 + x2 + x4.
thanh ghi này có chu kỳ n = 6 và (x6 + 1) : 1 + x2 + x4 = x2 + 1.
Th t c sinh thanh ghi lùi t ng b c

Đ sinh thanh ghi lùi t ng b c v i s bit là m và có chu kỳ n, ta có th th c hi n theo các b c
sau:
B c 1: xác đ nh đa th c đ c tr ng c a thanh ghi
- Tìm 2 đa th c gm(x)=a0 + a1x+ a2 x2+ …+am-1xm-1 + xm
và hk(x)=h0 + h1x+ h2x2 + …+hk-1xk-1 + xk sao cho (xn + 1) = gm(x)* hk(x).
- N u ∃ (xn + 1) = gm(x)* hk(x) thì ta ch n gm(x) làm đa th c đ c tr ng cho thanh ghi (vì
s bit ki m tra c a b mã là m) và th c hi n b c 2.
- Ng c l i: không t n t i thanh ghi theo yêu c u.
T gm(x)=a0 + a1x+ a2 x2+ …+am-1xm-1 + xm ⇒ a0, a1, a2,…, am-1 ⇒ thanh ghi có d ng:
B c 2: v thanh ghi
+ Fm-1 Fm-2 F1 F0
am-1 am-2 a1 a0
Ví d minh h a
Thi t k thanh ghi có m=3 bit và chu kỳ n=7, ta th c hi n theo 2 b c sau:
B c 1: Xác đ nh đa th c đ c tr ng c a thanh ghi
Ta có (x7 + 1) : (1 + x2 + x3) = (1 + x2 + x3 + x4)
Do m=3 nên ch n g3(x) = (1 + x2 + x3) làm đa th c đ c tr ng c a thanh ghi.
B c 2: V thanh ghi
T g3(x) = (1 + x2 + x3) ta có, a0=1, a1=0, a2=1
+ F2 F1 F0
Bài t p
1. Trong các thanh ghi sau đây, thanh ghi nào sinh ra b mã vòng có đ dài n=15 bit?
(R1): + F3 F2 F1 F0
(R2): + F3 F2 F1 F0
(R3): + F3 F2 F1 F0
2. Nêu các b c c n thi t đ thi t k b mã xoay vòng đ dài 15 bit v i s bit ki m tra là 4.
V s đ thanh ghi d ng t ng quát.
Bài 5.10: PH NG PHÁP SINH MÃ XOAY VÒNG

M c tiêu
- Hi u các ph ng pháp sinh mã vòng,
- Bi t b ng li t kê m t s đa th c đ c tr ng,
- V n d ng đ sinh mã vòng theo nhi u cách khách nhau.
Đ tv nđ
Đ sinh b mã ki m tra ch n l , ta có th d a theo nhi u ph ng pháp khác nhau nh : sinh mã
d a theo lý thuy t nhóm, mã Hamming,... V n đ đ t ra đây là làm sao đ sinh b mã xoay vòng
v i đ dài n bit và m bit ki m tra ch n l . Ph ng pháp sinh mã xoay vòng d a trên lý thuy t v
đa th c đ c tr ng nh phân c a thanh ghi giúp ta có cái nhìn t ng quát v v n đ sinh b mã xoay
vòng theo nhi u cách khác nhau.
Ph ng pháp sinh b ng mã xoay vòng

Đ sinh mã xoay vòng đ dài n bit v i m bit ki m tra và k bit thông tin, ta có th th c hi n theo
các b c sau:
B c 1: tìm 2 đa th c gm(x)=a0 + a1x+ a2 x2+ …+am-1xm-1 + xm
và hk(x)=h0 + h1x+ h2x2 + …+hk-1xk-1 + xk sao cho (xn + 1) = gm(x)* hk(x).
N u ∃ (xn + 1) = gm(x)* hk(x) thì chuy n sang b c 2
Ng c l i không th sinh b mã vòng theo yêu c u.
B c 2: ta có th sinh b mã xoay vòng theo các cách nh d i đây:
Cách 1: Ch n đa th c gm(x)=a0 + a1x+ a2 x2+ …+am-1xm-1 + xm
⇒ a0, a1, a2,…, am-1
⇒ thanh ghi ⇒ ma tr n đ c tr ng T
⇒ chu kỳ n ⇒ ma tr n ki m tra ch n l A.
⇒ B mã xoay vòng.
Cách 2: ch n đa th c gm(x)=a0 + a1x+ a2 x2+ …+am-1xm-1 + xm
⇒ a0, a1, a2,…, am-1
⇒ Sinh nhanh k t mã đ c l p tuy n tính v i t mã sinh đ c l p tuy n tính đ u tiên có
d ng: w1=a0a1a2…am-11000…00 ⇒ B mã xoay vòng.
k-1 bit 0
Cách 3: ch n hk(x)=h0 + h1x+ h2x2 + …+hk-1xk-1 + xk làm đa th c sinh ma tr n ki m tra
ch n l cho b mã vòng có d ng:
⎛0 0 − − − − − − h0 ⎞
⎜ ⎟
0 0 1 hk −1 h1
⎜0 − − − 0 hk −1 − − − h1 0⎟
⎜− − −⎟
0 1 h0
− − − − − − − − − − −
⎜ ⎟
m
⎜0 1 − − − 0 − − − 0⎟
⎜1 h 0 ⎟⎠
k k −1 h1 h0 0
⎝ k −1 − − − h1 h0 0 0 − − − 0
(m-1) bits
⇒ Sinh b mã xoay vòng theo Ph ng pháp sinh nhanh b mã xoay vòng.
Nh n xét: k t qu theo 3 cách sinh b mã xoay vòng nói trên la nh nhau (cho cùng b mã).
Ví d minh h a 1
Ch n đa th c gm(x)= 1+x+x4 ⇒ a0 = 1, a1 = 1, a2 = 0, a3 = 0
Thi t k thanh ghi và sinh ma tr n ki m tra ch n l .
+ F3 F2 F1 F0
⎡0 0⎤
⎢0 0⎥⎥
1 0
Ma tr n đ c tr ng c a thanh ghi: T= ⎢
0 1
⎢0 1⎥
⎢ ⎥
0 0
⎣1 1 0 0⎦
⎛ 0⎞
Tìm chu kỳ c a thanh ghi:
⎜ ⎟
⎜ 0⎟
Ch n giá tr kh i t o x =1= ⎜ ⎟
(0)
⎜ ⎟
⎜ 1⎟
0
⎝ ⎠
⎛ 0⎞ ⎛ 0⎞ ⎛ 1⎞ ⎛ 0⎞ ⎛ 0⎞
⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟
(0) ⎜ 0 ⎟ (1) ⎜ 1 ⎟ (2) ⎜ 0 ⎟ (3) ⎜ 0 ⎟ (4) ⎜ 1 ⎟
x =T.x = ⎜ ⎟ ; x =Tx = ⎜ ⎟ ; x =Tx = ⎜ ⎟ ; x =Tx = ⎜ ⎟ ; x =Tx = ⎜ ⎟
(1) (2) (3) (4) (5)
⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟
⎜ 0⎟ ⎜ 0⎟ ⎜ 1⎟ ⎜ 1⎟ ⎜ 0⎟
1 0 0 1 1
⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠
⎛ 1⎞ ⎛ 1⎞ ⎛ 0⎞ ⎛ 1⎞ ⎛ 0⎞
⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟
(5) ⎜ 1 ⎟ (6) ⎜ 0 ⎟ (7) ⎜ 1 ⎟ (8) ⎜ 0 ⎟ (9) ⎜ 1 ⎟
x =Tx = ⎜ ⎟ ; x =Tx = ⎜ ⎟ ; x =Tx = ⎜ ⎟ ; x =Tx = ⎜ ⎟ ; x =Tx = ⎜ ⎟
(6) (7) (8) (9) (10)
⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟
⎜ 1⎟ ⎜ 0⎟ ⎜ 1⎟ ⎜ 1⎟ ⎜ 1⎟
0 1 0 1 1
⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠
⎛1⎞ ⎛ 1⎞ ⎛ 1⎞ ⎛ 1⎞ ⎛ 0⎞
⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟
(12) ⎜1⎟ (12) (11) ⎜ 1 ⎟ (13) (12) ⎜ 1 ⎟ (14) (13) ⎜ 0 ⎟ (14) ⎜ 0 ⎟
x =Tx = ⎜ ⎟ ;x =Tx = ⎜ ⎟ ;x =Tx = ⎜ ⎟ ;x =Tx = ⎜ ⎟ ; x =T.x = ⎜ ⎟ = x(0)
(11) (15)
⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟
⎜1⎟ ⎜ 0⎟ ⎜ 0⎟ ⎜ 0⎟ ⎜ 1⎟
1 1 0 0 0
⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠
⎛0 0 0 1 1⎞
Ma tr n ki m tra ch n l :
⎜ ⎟
0 0 1 1 0 1 0 1 1 1
⎜0 0 1 0 0⎟
A= ⎜
0⎟
0 1 1 0 1 0 1 1 1 1
⎜ ⎟
⎜1 0 0 1 0 ⎟⎠
0 1 0 0 1 1 0 1 0 1 1 1 1 0
⎝ 1 0 1 0 1 1 1 1 0 0
⇒ B mã xoay vòng v in=14, m=4, k=11.
Ví d minh h a 2
Ch n đa th c gm(x)= 1+x+x4 ⇒ a0 = 1, a1 = 1, a2 = 0, a3 = 0.
B c 1: Sinh mã xoay vòng đ u tiên

w1 =110010000000000
B c 2: Sinh k -1 t mã đ c l p tuy n tính còn l i
w2 =011001000000000
w3 =001100100000000
w4 =000110010000000
w5 =000011001000000
w6 =000001100100000
w7 =000000110010000
w8 =000000011001000
w9 =000000001100100
w10=000000000110010
w11=000000000011001
B c 3: Xác đ nh các t mã còn l i c a b mã
(215 - 11) t mã còn l i đ c xác đ nh bằng cách c ng t h p 2, 3, 4,.., k = 11 t
mã t k=11 t mã đ c l p tuy n tính.
Ví d minh h a 3
Ch n hk(x)= 1+ x + x2 + x3 +x5 + x7 + x8 + x11 làm đa th c sinh ma tr n ki m tra ch n l cho b mã
vòng ⇒ h0 = 1, h1 = 1, h2 = 1, h3 = 1, h4 = 0, h5 = 1, h6 = 0, h7 = 1, h8 =1, h9 = 0, h10 = 0.
⎛ 0 0 0 1 0 0 1 1 0 1 0 1 1 1 1⎞
⎜ ⎟
⎜ 0 0 1 0 0 1 1 0 1 0 1 1 1 1 0⎟
A= ⎜ ⇒ B mã xoay vòng
0 1 0 0 1 1 0 1 0 1 1 1 1 0 0⎟
⎜ ⎟
⎜ 1 0 0 1 1 0 1 0 1 1 1 1 0 0 0⎟
⎝ ⎠
B ng li t kê m t s đa th c đ c tr ng
M Đa th c M Đa th c
3 1+x+x3 14 1+x+x6+x10+x14
4 1+x+x4 15 1+x+x15
5 1+x2+x5 16 1+x+x3+x12+x16
6 1+x+x6 17 1+x3+x7
7 1+x3+x7 18 1+x7+x18
8 1+x2+x3+x4+x8 19 1+x+x2+x5+x19
9 1+x4+x9 20 1+x3+x20
10 1+x3+x10 21 1+x2+x21
11 1+x2+x11 22 1+x+x22
12 1+x+x4+x6+x12 23 1+x3+x23
13 1+x+x3+x4+x13 24 1+x+x2+x7+x24
Bài t p
1. Tìm b mã vòng có đ dài 7 bit.
2. Tìm thanh ghi sinh b mã vòng có đ dài 15 bit.
3. Tìm thanh ghi sinh b mã vòng có đ dài 31 bit.
BÀI T P T NG H P
M c tiêu
- Hi u rõ h n v n i dung môn h c.
- V n d ng n i dung môn h c đ gi i quy t m t s bài t p t ng h p.
Bài 1
Xét m t mô hình chẩn đoán b nh t các tri u ch ng: A, B và C; đ chẩn đoán 1 trong 4 b nh: 1,
2, 3 và 4 v i ma tr n chẩn đoán (hay ma tr n truy n tin).
B nh 1 2 3 4
Tri u ch ng
A 0,6 0,3 0 0,1
B 0,2 0,6 0,2 0
C 0 0 0,3 0,7
Yêu c u:
Câu 1: V sơ đồ mô tả mô hình chẩn đoán bệnh trên và diễn giải các ý nghĩa c a s đ .
Câu 2: N u phân ph i c a Tri u ch ng có d ng:
Tri u ch ng A B C
P 0,5 0,3 0,2
Tính các l ng sau :

¾ L ng ng u nhiên (Entropy) c a Tri u ch ng .
¾ L ng ng u nhiên c a B nh.
¾ L ng ng u nhiên c a B nh khi bi t Tri u ch ng.
¾ L ng chẩn đoán đúng.(L ng thông tin bi t v B nh thông qua Tri u ch ng) và tỷ l
chẩn đoán đúng là bao nhiêu ph n trăm.
Câu 3: Bây gi ng i ta s d ng 2 bit đ mã thông tin v Tri u ch ng (có 1 tri u ch ng d tr ) và

5 bit đ mã các tri u ch ng khi chẩn đoán b nh tr c tuy n. Mô tả các đoạn c a dãy 5 bit trong
ph ng pháp ki m tra ch n l .
Câu 4: N u s d ng ma tr n ki m tra ch n l d ng:
1 1 1 0 1
A= 0 1 0 1 1
1 0 0 1 1
Tính các từ mã.

Xây dựng Bộ sửa lỗi 1 bit dùng cho t đ ng s a l i t i u trong quá trình chẩn đoán tr c tuy n.
Cho một ví dụ.
Bài 2
Xét m t kênh truy n tin đ c bi t d ng : Truy n X Æ Nh n Y.
Truy n m t giá tr c a X có th nh n đ c nhi u giá tr khác nhau c a Y v i các xác su t khác

nhau. B ng xác su t truy n X và nh n các Y khác nhau đ c cho d i đây:
Y y1 y2 y3 y4 y5 y6
X
x0 0,6 0,1 0,1 0,05 0,05 0,1
x1 0,1 0,05 0,6 0,1 0,1 0,05
x2 0,05 0,1 0,1 0,05 0,6 0,1
x3 0,1 0,05 0,05 0,1 0,1 0,6
Yêu c u:
Câu 1: V sơ đồ mô tả kênh truyền tin trên và diễn giải các ý nghĩa c a s đ .
Câu 2: N u phân ph i c a X có d ng :
X x0 x1 x3 x4
P 0.5 0.25 0.15 0.1
tính thông lượng về X truyền trên kênh.

Câu 3: Phân ph i c a X c n có d ng nh th nào đ thông l ng truy n trên kênh là l n nh t.
Tính dung l ng kênh truy n.
Câu 4: Bây gi ng i ta s d ng 2 bit đ mã thông tin v X và 4 bit đ mã các giá tr truy n trên
kênh. Mô tả các đoạn c a dãy 4 bit trong ph ng pháp ki m tra ch n l .
1 1 1 0
A= 0 1 0 1
Xây dựng Bộ sửa lỗi dùng cho t đ ng s a l i t i u trong quá trình truy n tin. Cho một ví dụ.
Bài 3
Ng i ta c n đánh giá kênh truy n tin và chuẩn b th c hi n truy n m t lo i tín hi u đ c bi t: X =
{x0, x1, x2, x3}
Công vi c đ u tiên là ph i kh o sát kênh truy n. K t qu kh o sát cho th y:
Kênh có thể truyền nhận được 8 giá trị khác nhau, để có khả năng phát hiện lỗi hoặc điều chỉnh
lỗi. Ma tr n truy n tin có d ng:
Y y1 y2 y3 y4 y5 y6 y7 y8
X
x0 0,6 0,1 0,05 0,05 0,05 0,05 0,05 0,05
x1 0,05 0,05 0,6 0,1 0,05 0,05 0,05 0,05
x2 0,05 0,05 0,05 0,05 0,6 0,1 0,05 0,05
x3 0,05 0,05 0,05 0,05 0,05 0,05 0,6 0,1
Yêu c u:
Câu 1: V sơ đồ mô tả kênh truyền tin trên và diễn giải các ý nghĩa c a s đ . N u phân ph i c a
X có d ng :
X x0 x1 x3 x4
P 0.5 0.25 0.15 0.1
tính thông lượng về X truyền trên kênh.
Câu 2: Phân l p các giá tr c a Y v các l p B0, B1, B2, và B3 dùng đ gi i mã t i u Y t t nh t

v các giá tr t ng ng c a X.
Câu 3 : Bây gi ng i ta s d ng 2 bit đ mã thông tin v X và 4 bit đ mã các giá tr truy n trên
kênh. Mô t các đo n c a dãy 4 bit trong ph ng pháp ki m tra ch n l .
1 0 0 1
A= 0 1 1 1
Xây dựng Bộ sửa lỗi dùng cho t đ ng s a l i t i u trong quá trình truy n tin. Cho một ví dụ.
Bài 4
Xét m t mô hình chẩn đoán b nh t các tri u ch ng: A, B và C; đ chẩn đoán 1 trong 4 b nh: 1,
2, 3 và 4 v i ma tr n chẩn đoán (hay ma tr n truy n tin)
B nh 1 2 3 4
Tri u ch ng
A 0,5 0,3 0 0,2
B 0,1 0,2 0,7 0
C 0 0,1 0,3 0,6
Yêu c u:
Câu 1: Gi s ng i ta bi t thêm 3 tri u ch ng gây b nh khác đó là : D, E và F và mu n ghi l i
các tri u ch ng này thông qua b ng ký hi u A = {+, - }.
Hãy ki m tra tính tách đ c c a b ng mã sau :
Tri u ch ng : X A B C D E F
Mã : W + -+ ++- --+- ++-+ --
Câu 2: N u các tri u ch ng câu 1 có phân ph i :
Tri u ch ng : X A B C D E F
P 0.5 0.2 0.2 0.05 0.03 0.2
Gi s có m t ng i b nh v i 1 trong 5 tri u ch ng trên đ n khám b nh và bác sĩ s h i b nh v i

nguyên tắc, sao cho ng i b nh chỉ tr l i bằng 2 câu : Đúng ho c Sai.
¾ Tìm ph ng pháp h i b nh v i s câu h i trung bình ít nh t.
¾ Tính s câu h i trung bình.
¾ Tính l ng ng u nhiên c a Tri u ch ng.
¾ Nh n xét gì v s câu h i trung bình và l ng ng u nhiên c a tri u ch ng.
Câu 3: Bây gi s d ng mô hình 3 tri u ch ng {A, B, C} và 4 b nh. V sơ đồ mô tả mô hình

chẩn đoán bệnh và diễn giải các ý nghĩa c a s đ .
Câu 4: T k t qu câu 3, ng i ta s d ng 2 bit đ mã thông tin v Tri u ch ng (có 1 tri u ch ng

d tr ) và 5 bit đ mã các tri u ch ng khi chẩn đoán b nh tr c tuy n. Mô tả các đoạn c a dãy 5
bit trong ph ng pháp ki m tra ch n l .
1 1 1 0 1
A= 0 1 0 1 1
1 0 0 1 1
Tính các t mã.
TÀI LI U THAM KH O
12. G.J.ChaiTin, Algorithmic Information Theory, CamBridge University Express-1992.

13. David J.C. Mackey, Information Theory, Infernce, and Learning Algorithms, CamBridge
University Express-2003.
14. Sanford Goldman, Information Theory.
15. http://www.inference.phy.cam.ac.uk/mackay/info-theory/course.html.
16. http://en.wikipedia.org/wiki/Information_theory.
17. http://www-2.cs.cmu.edu/~dst/Tutorials/Info-Theory/.
18. http://cscs.umich.edu/~crshalizi/notebooks/information-theory.html.
19. http://www.lecb.ncifcrf.gov/~toms/paper/primer/primer.pdf.
20. http://www.cs.ucl.ac.uk/staff/S.Bhatti/D51-notes/node27.html.
21. http://guest.engelschall.com/~sb/hamming/.
22. http://www2.rad.com/networks/1994/err_con/hamming.htm.

Giao Trinh Ly Thuyt Thong Tin

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Giao Trinh Ly Thuyt Thong Tin

Uploaded by

Copyright:

Available Formats

Giáo trình: Lý thuyết thông tin.

CH NG 4: KÊNH TRUY N ......................................................................................................45

3. Ph ng pháp ki m tra ch n l .............................................................................................65

2. Đ nh nghĩa đa th c đ c tr ng c a thanh ghi .......................................................................86

• V Sinh mã tách đ c, giáo trình s gi i thi u đ n ng i h c các v n đ v yêu c u c a

• V n đ S a l i (hay x lý mã sai) trên kênh truy n là m t v n đ r t quan tr ng và

 H n n a, h u h t các v n đ nêu trên đ u đ c đ a vào n i dung gi ng d y các b c Đ i h c

• H c đ y đ các môn h c tiên quy t, b sung nh ng ki n th c c b n v toán và xác su t

Vi c cho ra đ i m t giáo trình v i nh ng m c đích nh trên là không đ n gi n khi kh năng và

Đ u vào (input): nh n tín hi u t m t lĩnh v c c th , t c là tín hi u xu t hi n theo các ký hi u

đ u ra (output): d ng l i tín hi u chân th t nh t có th có so v i tín hi u đ u vào.

Tính duy nh t c a mã và cho phép t đi u chỉnh mã sai n u có v i đ chính xác cao nh t. Gi i mã

Trong khí đó, Wiener l i nghiên c u ph ng pháp x lý tín hi u đ u ra: c l ng t i u chu i

Mô hình lý thuy t thông tin theo quan đi m Shannon

Ngu n Mã hóa Kênh Gi i mã Nh n

Ta th xét m t tr ng h p sau: n u ng i ch i l y ng u nhiên 1 đ ng ti n và sau đó th c hi n

Ch ng h n: N u s đ u hình đ m đ c sau 2 l n t ng là 1 thì đ ng ti n đã l y đ c là đ ng ti n

G i BNN X v lo i đ ng ti n (X=1 n u l y đ c đ ng ti n lo i 1 và X=1 n u l y đ c đ ng ti n

Đ t BNN Y là BNN v s đ u hình đ m đ c sau 2 l n tung. Khi đó ta có th xác đ nh đ c phân

Phân ph i c a Y khi bi t X=1 có d ng:

Phân ph i c a Y khi bi t X=2 có d ng:

Minh h a kỹ thu t gi m nhi u

Bit truy n Tuy n l p 3 l n Nh n 3 bit Gi i mã

Gi s Xi xác đ nh giá tr đúng hay sai c a bit th i nh n đ c cu i kênh truy n v i Xi =1 n u

G i Y ={X1 + X2 + X3 } là t ng s bit nh n sai sau 3 l n truy n l p cho 1 bit. Trong tr ng h p

V y truy n sai khi Y ∈ {2, 3} có xác xu t là:

Chi phí ph i tr cho kỹ thu t gi m nhi u

Khái ni m “dung l ng” kênh truy n là khái ni m r t c b n c a lý thuy t truy n tin và là m t đ i

M t v n đ quan tr ng c n l u ý là ph i đ ng b gi a t c đ n p thông tin (phát tín hi u) v i t c

BÀI 2.1: ENTROPY

X={1, 2, 3, 4, 5} có phân ph i đ u hay p(X=i) = 1/5.

B n thân X và Y đ u mang m t l ng tin và thông tin v X và Y ch a bi t do chúng là ng u

Entropy là m t đ i l ng toán h c dùng đ đo l ng tin không chắc (hay l ng ng u nhiên) c a

Tiên đ 01: h(p) là hàm liên t c không âm và đ n đi u gi m.

N u g i Ai là s ki n X=xi, (i=1,2,3,..) thì Entropy c a Ai là: h(Ai)= h(pi)

V y, Entropy c a X chính là kỳ v ng toán h c c a Y=h(X) có d ng:

Đ nh lý: Hàm H(X) = H(p1, p2,...,pM) = C ∑ pi log( pi )

H(X) = H(p1 , p 2 ,..., p M ) = −∑ pi log 2 ( pi )

Qui c trong cách vi t: log(pi)= log2(pi)

H(X) = H(1/2, 1/4, 1/4) = -(1/2log(1/2)+1/4log(1/4)+1/4log(1/4)) =3/2 (bit)

Bài toán v cây tìm ki m nh phân-Đ t v n đ

Gi s , tìm 1 trong 5 ng i có tên bi t tr c s xu t hi n theo phân ph i sau:

S đ d i đây minh h a cách xác đ nh tên c a m t ng i:

Bài toán v cây tìm ki m nh phân - Di n gi i

Sinh viên t cho thêm 1 hay 2 s đ tìm ki m khác và t di n gi i t ng t - xem nh bài t p.

Tính H(X) v i phân ph i sau:

Tính H(Y) v i phân ph i sau:

BÀI 2.2: CÁC TÍNH CH T C A ENTROPY

Các tính ch t c b n c a Entropy

4. H(p, 1-p) là hàm liên t c theo P.

=> H(X) = − log = log M là hàm đ n đi u tăng

Ta có th gom các s ki n x1, x2, x3 l i thành m t s ki n m i là x123 có xác su t xu t hi n

Ta đ c m t nhi n ng u nhiên m i X* có phân ph i sau:

Đ n đây các b n có th áp d ng công th c đ tính, so sánh các Entropy và nh n xét tính

Rõ ràng H(p, 1-p) là m t hàm liên t c theo p.

Khi đó, ta có H(p1, p2, …,pM)= − ∑ pi log 2 pi ≤ −∑ p i log 2 q i (*)

Đ ng th c x y ra khi pi=qi v i ∀i=1,..,M.

⇔ − ∑ pi ln pi ≤ −∑ pi lnqi (đ ng th c x y ra khi qi=pi).

T (1) và (2), ta có − ∑ p i log pi ≤ −∑ p i logq i (đ ng th c x y ra khi qi=pi.)

và đ ng th c chỉ x y ra khi pi= 1 , ∀i (đpcm).

Tính H(X), H(Y).

Ta có th gom các s ki n x1, x2, x3 l i thành m t s ki n m i là x123 có xác su t xu t hi n là 55%,

- Tính entropy c a X, X* và ki m tra l i tính ch t 3.

H n n a, h u h t các v n đ nêu trên đ u đ c đ a vào n i dung gi ng d y các b c Đ i h c