Bài tiểu luận

Môn: Lý thuyết thông tin

GIẢNG VIÊN HƯỚNG DẪN: TH.S Trần Duy Cường

Nhóm 1:
1. Phạm Viết Thành mssv:2011770181
2. Võ Minh Nhớ mssv:2087900065
3. Nguyễn Quốc Bảo mssv:2011790471
4.Trần Quyết Thắng mssv:2087900045

Chủ đề thảo luận: Phương pháp mã hóa Shannon

Fano và phương pháp Huffman
 I.Phương pháp mã hóa Shannon -Fano
1. Phương pháp shannon
Các bước thực hiện mã hóa theo phương pháp Shannon:
B1: Sắp xếp các xác suất theo thứ tự giảm dần.Không mất tính tổng quát giả sử P1 > P1 > P2> …> Pk
i −1
B2: Định nghĩa q 1=0 , q I =∑ p j với mọi i=1,2 , … , k .
j=1
B3: Đổi qi sang cơ số 2 (biểu diễn qi trong cơ số 2) sẽ được một chuỗi nhị phân.
4: Từ mã được gán cho ai và li ký hiệu lấy từ vị trí sau dấu phẩy của chuỗi nhị

phân tương ứng với qi, trong đó li=[-log2pi].

Ví dụ: Mã hóa nguồn S={a1;a2;a3 a8} với các xác suất lần lượt là;a4;a5;a6;a7;
0,25; 0.125; 0.0625; 0.0625; 0.25; 0.125; 0.0625; 0.0625.
i−1
Tin ai Xác suất pi Biểu diễn li=[-log2pi] Từ mã wi
∑ pj nhị phân
j=1

a1 0.25 0 0.0000000 2 00
a5 0.25 0.25 0.0100000 2 01
a2 0.125 0.5 0.1000000 3 100
a6 0.125 0.625 0.1010000 3 101
a3 0.0625 0.75 0.1100000 4 1100
a4 0.0625 0.8125 0.1101000 4 1101
a7 0.0625 0.875 0.1110000 4 1110
a8 0.0625 0.9375 0.1111000 4 1111

Độ dài trung bình của từ mã:

= 0.25*2 + 0.25*2 + 0.125*3 + 0.125*3 + 0.0625*4 + 0.0625*4 + 0.0625*4 + 0.0625*4 = 2.75

Entropie của nguồn tin:

H(s) = - [0.25*log20.25 + 0.25*log20.25 + 0.125*log20.125 + 0.125*log20.125 + 0.0625*log20.0625 +

0.0625*log20.0625 + 0.0625*log20.0625 +
0.0625*log20.0625] = 2.75

H ( s) 2.75
Hiệu suất lập mã: h= = =1
n 2.75
2. Phương pháp Fano
Các bước thực hiện mã hóa theo phương pháp Fano:

B1: Sắp xếp các xác suất theo thứ tự giảm dần. Không mất tính tổng quát giả sử
P1>P2>…>Pk.

B2: Phân các xác suất thành hai nhóm có tổng xác suất gần bằng nhau. B 3: Gán cho hai
nhóm lần lượt các ký hiệu 0 và 1.

B4: Lặp lại B2 cho các nhóm con cho tới khi không thể tiếp tục được nữa.

B5: Từ mã ứng với mỗi tin là chuỗi bao gồm các ký hiệu theo thứ tự lần lượt được
gán cho các nhóm có chứa xác suất tương ứng của tin.

Ví dụ: Mã hóa nguồn S={a1,a2,a3,a4,a5,a6,a7,a8} với các xác suất lần lượt là

0.25; 0.125; 0.0625; 0.0625; 0.25; 0.125; 0.0625; 0.0625

Tin ai P(ai) Lần 1 Lần 2 Lần 3 Lần 4 Từ mã

a1 0.25 0 0 00

a2 0.25 0 1 01

a3 0.125 1 0 0 100

a4 0.125 1 0 1 101

a5 0.0625 1 1 0 0 1100

a6 0.0625 1 1 0 1 1101

a7 0.0625 1 1 1 0 1110

a8 0.0625 1 1 1 1 1111
 Độ dài trung bình của từ mã:

= 0.25*2 + 0.25*2 + 0.125*3 + 0.125*3 + 0.0625*4 + 0.0625*4 + 0.0625*4 + 0.0625*4 = 2.75

Entropie của nguồn tin:

H(s)= - [0.25*log20.25 + 0.25*log20.25 + 0.125*log20.125 + 0.125*log20.125 + 0.0625*log20.0625 +

0.0625*log20.0625 + 0.0625*log20.0625 +
0.0625*log20.0625] = 2.75

H ( s) 2.75
Hiệu suất lập mã: h= = =1
n 2.75
Nhận xét:

- Hai phương pháp Shannon và Fano thực chất là một, đều xây dựng trên cùng một cơ sở độ dài
từ mã tỉ lệ nghịch với xác suất xuất hiện, không cho phép lập mã một cách duy nhất vì sự chia
nhóm trên cơ sở đồng đều và tổng xác suất nên có thể có nhiều cách chia.
- Sự lập mã theo cách chia nhóm trên cơ sở đồng xác suất tạo cho bộ mã có tính Prefix.
- Phương pháp mã hóa từng tin của nguồn tin chỉ có hiệu quả khi entropie của nguồn lớn hơn 1
( H(u) > 1). Trường hợp H(u) < 1 thì phương pháp mã hóa từng tin riêng biệt không đưa đến cải
tiến tốt tính tối ưu của mã. Trong trường hợp này dùng phương pháp mã hóa từng khối tin.
II.Phương pháp Huffman
Theo Huffman để có một bộ mã hóa Prefix có độ dài từ mã tối thiểu, điều kiện cần và đủ là thỏa mãn 3
tính chất sau:
Tính thứ tự độ dài các từ mã: Pi ≥ p j với i< j thìn i ≤ n j
Tính những từ cuối: có độ dài bằng nhau, chỉ khác nhau về trọng số của ký hiệu cuối cùng
Tính liên hệ giữa những từ cuối và từ trước cuối
Các bước thực hiện phương pháp Huffman:

Bước 1: Các nguồn tin được liệt kê trong cột theo thứ tự xác suất xuất hiện giảm dần
Bước 2: hai tin cuối có xác suất bé nhất được hợp thành tin phụ mới có xác suất bằng tổng xác suất các
tin hợp thành
Bước 3: Các tin còn lại với tin phụ mới được liệt kê trong cột phụ thứ nhất theo thứ tự xác suất giảm dần
Bước 4: Quá trình cứ thế tiếp tục cho đến khi hợp thành một tin phụ có xác suất xuất hiện bằng 1
Từ mã được đọc ngược từ đầu ra về đầu vào. Cũng có thể dùng cây mã để xác định mã Huffman

Hiệu xuất: ρ=0,98

Mặc dù tối ưu hơn so với mã Shannon và Fano, nhưng khi

bộ mã nguồn có nhiều tin thì bộ mã trở nên cổng kênh, Khi
đó người ta kết hợp 2 phương pháp mã hóa: Mã Huffman +
mã đều

Nhận xét:

Ưu điểm

- Xử lý khá tốt độ dư thừa phân bố kí tự.

- Quá trình mã hóa và giải mã tương đối đơn giản.
 - Cho mã có độ dài tối ưu.

Hạn chế
- Giải quyết kém hiệu quả đối với các loại độ dư thừa khác (chẳng hạn như độ dư thừa vị
trí).
- Tốn nhiều thời gian xây dựng cây mã.
- Cấu trúc của cây mã hoặc bộ từ mã đã dùng để mã hóa phải được gởi đi
cùng với số liệu đã được mã hóa.

Điều này làm giảm hiệu suất nén.

III. Ứng dụng

- Lưu trữ .
- Truyền dữ liệu.
- Dùng trong các chương trình nén như: compress, pack trong Unit và winzip, winrar trong
Windowns.

TÀI LIỆU KHAM KHẢO

1. Lý thuyết thông tin – “Đại Học Công Nghệ Hutech”, biên soạn ThS. Trần Duy Cường
2. PGS.TS Phạm Hồng Liên, Bài giảng” Nguyên Lý Truyền Thông”
3. Mattin Bossert – “ Channel Coding for Telecommunications” – ISBN 0-471-98277-6-University ò
Ulm, Germany
4. ^ Huffman, D. (1952). "Phương pháp xây dựng mã dự phòng tối thiểu"  (PDF) . Kỷ yếu của
IRE . 40 (9): 1098–1101. doi : 10.1109 / JRPROC.1952.273898 .

5. ^ Van Leeuwen, Jan (1976). "Về việc xây dựng cây Huffman"  (PDF) . ICALP : 382–410 . Truy cập
ngày 20 tháng 2 năm 2014 .

6.Fano, RM (1949). "Sự truyền tải thông tin" . Báo cáo kỹ thuật số 65 . Cambridge (Mass.), Hoa Kỳ:
Phòng thí nghiệm Nghiên cứu Điện tử tại MIT.

7.Shannon, CE (tháng 7 năm 1948). "Một lý thuyết toán học về giao tiếp" . Tạp chí Kỹ thuật Hệ thống
Chuông . 27 : 379–423.

8. Gallager, RG; van Voorhis, DC (1975). "Mã nguồn tối ưu cho bảng chữ cái số nguyên được phân phối
theo hình học". Giao dịch IEEE về lý thuyết thông tin . 21 (2): 228–230. doi : 10.1109 /
TIT.1975.1055357 .