LÝ THUYẾT:

1. Lượng tin riêng là I(xi) = -logbP(xi)

2. Thông tin là dữ liệu đc thu nhập và xử lý nhằm mang lại hiểu biết cho con người
3. Tin là dạng vật chất chất cụ thể để biểu diễn thông tin
4. Nguồn tin là nơi sản sinh ra thông tin
5. Từ mã là chuỗi kí hiệu mã biểu diễn cho tin của nguồn. Tập hợp các từ mã là bộ mã
6. Độ dài từ mã là gì? Là độ dài từ mã thứ k.
7. Mã hiệu là gì: Mã hiệu là một tập hữu hạn các ký hiệu và phép ánh xạ các tin/ bản tin của
nguồn tin → các dãy ký hiệu tương ứng
8. Lượng tin riêng trung bình là gì? (Entropy) Giá trị trung bình được tính bằng tổng giá
trị riêng sau khi đã nhân cho xác suất xuất hiện của chúng:
n
H(X) = ∑ P ( x i )∗I (x i) = -P(xi)*logP(xi)
i=1

Phân biệt giữa:

1. Từ mã: là chuỗi ký hiệu mã biểu diễn cho tin của nguồn.
2. Bộ mã: tập hợp tất cả các từ mã tương ứng với các tin của nguồn
3. Độ dài từ mã là gì: Độ dài từ mã thứ k (lk ) là số ký tự của từ mã thứ k
4. Thế nào là mã non-singular: Một bộ mã được gọi là non-singular khi tất cả các từ mã là
phải hoàn toàn khác nhau. Vd: Cho bộ mã U = {01, 11, 00}
5. Thế nào là từ mã mở rộng: Một từ mã mở rộng là việc ánh xạ một chuỗi hữu hạn các từ
mã liên tiếp nhau. Vd: 00 – 01 - 11 - 10
6. Thế nào là bộ mã giải mã là duy nhất: Một bộ mã được gọi là giải mã duy nhất khi các
từ mã mở rộng của nó là một từ mã non-singular.
7. Thế nào là bộ mã có tính prefix: Một bộ mã có tính prefix khi không có bất cứ từ mã
nào là phần mào đầu (prefix) của một từ mã khác trong bộ mã.
8. Điều kiện để biết chính xác bản tin được phát đi là gì: Điều kiện để phân tách được
một bộ mã là không tồn tại dãy từ mã này trùng với dãy từ mã khác của cùng một bộ mã
9. Phân biệt mã đều và mã đầy?
10. Mã đều: là mã có chiều dài của các từ mã là bằng nhau ∀ : I k = Ĺ vd: U={00, 01,11}
11.Mã đầy: Bộ mã đầy là bộ mã thỏa N = ml. Vd U = {00,01,10,11} N = 4 (là tổng từ mã),
l=2(chiều dài cảu từ mã), m = 2 (là cơ số)
n
L   p  xi  li
12.Chiều dài trung bình của bộ mã: i 1

H (X )

13.Hiệu suất của bộ mã: L (%)
14.Phân biệt chiều dài từ mã và chiều dài trung bình của từ mã? Chiều dài trung bình
của từ mã là trung bình thống kê của độ dài các từ mã
BÀI TẬP
1. Cho tập tin U = {ui} với ui = xiyizi với i ={1-6}, với xác suất xuất hiện tương ứng p{ui} theo
bảng 1
 Gọi A là tin ui = u4 = 101.
 Gọi B là tin xi = 1. [2/3*0.15=0.1]
 Gọi C là tin yi = 0. [1/3*0.15=0.05]
Tính I(A)=-log(0.15)
I(A;B) = -logP(A) + logP(A/B) = log [(0.15:0.1):0.15] = 1
I(A;C) = -logP(A) + logP(A/C) = log[(0.15:0.05):015] = 1,3
Bảng 1. Xác suất xuất hiện các tin trong tập tin U

i 1 2 3 4 5 6

ui 010 011 100 101 110 111

P(ui) 0.4 0.2 0.15 0.15 0.05 0.05

2. Cho kênh truyền nhị phân có nhiễu nguồn X = {x 1, x2} có p(x1) = 0.4 và p(x2) = 0.6. Xác suất
truyền tin sai p(y1/ x2) = p(y2/ x1) = 0.3. Xác suất truyền tin đúng p(y 1/ x1) = p(y2/ x2) = 0.7.
Với Y = {y1, y2}.
a) Tính H(Y) = 0.299, Y(1) = 0.46, Y(2) = 0.54
H(Y) = P(yi).I(yi) = -P(y1).log(y1) – P(y2).log(y2)
P(y1) = P(x1). P(y1/x1) + P(x2).P(y1/x2) = 0.4*0.7 + 0.6*0.3= 0.46
P(y2) = P(x2).P(y2/x2) + P(x1).P(y2/x1) = 0.6*0.7 + 0.4*0.3 = 0.54
= 1 – P(y1) = 1 – 0.46 = 0.54
b)
Tính
H(Y/X) = - [P(y1,x1)*logP(y1/x1) + P(y2,x2)*logP(y2/x2) + P(y1,x2)*logP(y1/x2) +
P(y2,x1)*logP(y2/x1) = -[0.28*log(0.7)+0.42*log(0.7)+0.18*log(0.3)+0.12*log(0.3)]=
0.265

- P(x1,y1) = P(x1).P(y1/x1) = 0.4*0.7 = 0.28 = P(y1,x1)

- P(x1,y2) = P(x1).P(y2/x1) = 0.4*0.3 = 0.12
- P(x2,y2) = P(x2).P(y2/x2) = 0.6*0.7 = 0.42
- P(x2,y1) = P(x2).P(y1/x2) = 0.6*0.3 = 0.18
c) Tính H(X;Y) = H(X) – H(Y/X) = 0.292 – 0.265 = 0.027
H(X) = - P(x1)logP(x1) – P(x2)logP(x2) = -0.4*log(0.4)-0.6*log(0.6) = 0.292
3. Cho kênh truyền 3 ngõ vào X={0,1,2}, 3 ngõ ra Y={0,1,2} như
hình vẽ với xác suất xuất hiện của tin {0,1,2} lần lượt là P(0) = 0 0
0.4, P(1) = 0.4 và P(2) = 0.2. Xác suất truyền tin đúng là 0.8. Xác
suất truyền sai là 0.1
1 1
a) Tính H(Y) =
b) Tính H(Y/X)
c) Tính H(X;Y) 2 2

4. Biểu diễn bộ mã U bằng các phương pháp mã hóa sau, xác định các đặc tính và tham số của
bộ mã
a) Phương pháp cây mã với
U = {0000,1002,2100,222,2101,1111,0210,0220,2020,120,221,212}
b) Phương pháp đồ hình kết cấu mã với U = {00,01,011,110,1100,1101,1010,1011,10111}
c) Phương pháp mặt tọa độ mã với U = {00,01,011,110,1100,1101,1010,1011,10111}
d) Phương pháp hàm cấu trúc mã U = {0,01,011,110,1100,1001,1010,1011,10111}

5. Sử dụng mã Morse để giải mã tín hiệu sau:

6. Sử dụng phương pháp mã hóa nén dạng từ điển để giải mã các ký tự sau:
Hom nay hoc bu cho ngay nghi Le
a) LZ77

b) LZ78:
1 A <0,A> A
2 B <0,B> B
3 B <2,C> BC
4 BC <3,A> BCA
5 B <2,A> BA
 6 BCA <4,A> BCAA
7 BCAA <6,B> BCAAB

c) LZ88

7. Dùng mã thống kê tối ưu Shannon, Shannon fano và Huffman để mã hóa các ký tự sau. Từ
đó, tính hiệu suất mã hóa của từng loại.
a) Ký tự = {A,B,C,D,E,F} với xác suất lần lượt là: 0.35; 0.25; 0.15; 0.12; 0.08 và 0.05.
8. Ký tự = {A,B,C,D,E,F,G,H} với xác suất lần lượt là: 0.01; 0.1; 0.15; 0.02; 0.29; 0.04; 0.24
và 0.15
9. Xác định trọng số Hamming của các từ mã trong bộ mã U theo sau:
a) U = {0000,1002,2100,222,2101,1111,0210,0220,2020,120,221,212}
w(1002) = 2
b) U = {00000,01000,010001,11110,01100,11101,01010,11011,10111}
d(00000,01000) = 1
d(00000, 11110) = 4
d(U) = 1

10. Cho bộ mã U như sau:

U = {00000,01000,010001,11110,01100,11101,01010,11011,10111}
Biết rằng bộ mã nhị phân U có khả năng phát hiện sai và sửa sai. Hãy cho biết số bit sai tối
đa có thể phát hiện được và số bit sai tối đa có khả năng sửa được.