Professional Documents
Culture Documents
Ly Thuyet Thong Tin Chuong 2
Ly Thuyet Thong Tin Chuong 2
NGUỒN TIN
Giáo Viên: TS. Trần Trung Duy
Học Viện Công Nghệ Bưu Chính Viễn Thông TP. Hồ Chí Minh.
Email: trantrungduy@ptithcm.edu.vn.
Điện Thoại: 0938967217.
Nguồn Tin
Để đánh giá định lượng cho tin tức, người ta đưa ra
khái niệm lượng tin.
Lượng tin đưa ra khả năng dự đoán được của tin.
Một tin có xác suất xuất hiện càng nhỏ thì có độ bất
ngờ càng lớn, lượng tin càng lớn, và ngược lại.
Xét nguồn tin X rời rạc sinh ra các tin i với xác suất là
p(i), lượng tin i phải là một hàm có đặc điểm sau:
• Tỉ lệ nghịch với xác suất xuất hiện p(i), f(1/(p(i))).
• Hàm này phải bằng 0 khi p(i)=1
Nguồn Tin
Nếu hai tin độc lập thống kê là i và j đồng thời xuất
hiện ta có tin là (i, j) , thì lượng tin chung phải bằng
tổng lượng tin của từng tin:
Vì vậy
Nguồn Tin
Hàm loga thỏa mãn các yêu cầu này nên hàm
log(1/p(i)) được chọn để đánh giá định lường cho tin.
Lượng tin của một tin i được ký hiệu là I(i). Định nghĩa
lượng tin của một tin i
( )
I ( xi / y j ) = − log P ( xi / y j ) .
Lượng Tin Tương Hỗ
• Lượng tin X = xi khi đã xảy ra Y = yj
I ( xi ; y j ) = I ( xi ) − I ( xi / y j )
P ( xi / y j )
= log ÷
P ( xi ) ÷
Lượng Tin Tương Hỗ
• Lượng tin tương hỗ có điều kiện
n m
H ( XY ) = −∑∑ P ( xi , y j ) log P( xi , y j )
i =1 j =1
Entropy đồng thời
• H(XY) = H(X)+H(Y/X)
• H(XY) = H(Y)+H(X/Y)
• H(XYZ) = H(X)+H(Y/X)+H(Z/X,Y)
= H(XY) + H(Z/X,Y)
Entropy có điều kiện
• Xét hai biến ngẫu nhiên rời rạc xi∈X và yj ∈ Y
với xác suất xuất hiện lần lượt là P(x i), i = 1, 2,
., n và P(yj), j = 1, 2, ., m. Entropy có điều kiện
H(X/Y) của tập tích XY là độ bất định trung
bình của X khi đã xảy ra một tin bất kỳ trong
nguồn tin Y:
n m
H ( X / Y ) = −∑∑ P ( xi , y j ) log P ( xi / y j )
i =1 j =1
Tính chất của Entropy điều kiện
Entropy tương hỗ
• H(X;Y) = H(X) - H(Y/X)
• H(X;Y) = H(Y) - H(X/Y)
• H(X;YZ) = H(X;Y) + H(X;Z/Y)
BÀI TẬP
• Bài Tập 1: Nguồn tin X có 6 ký tự với xác suất
xuất hiện lần lượt là PA = ½, PB = ¼, PC = 1/8,
PD = PE =1/20, PF = 1/40.
a)Tính lượng thông tin chứa đựng trong thông
điệp sau: ABABBA và FDDFDF
b)Tính entropy H của nguồn tin X.
BÀI TẬP
• Bài Tập 2: Cho 6 ký tự với xác suất xuất hiện
lần lượt là PA = 0.4, PB =0.2, PC = 0.12, PD = PE
=0.1, PF = 0.08.
a)Tính lượng thông tin chứa đựng trong thông
điệp sau: ABCDEF và ACADAF.
b)Tính entropy H(X).
BÀI TẬP
• Bài Tập 3: Một nguồn tin gồm hai tin có xác
suất xuất hiện lần lượt là PA = x và PB = 1-x.
a)Tính entropy H(X) của nguồn.
b)Tìm x để H(X) lớn nhất.
BÀI TẬP
• Bài Tập 4: Một nguồn tin gồm ba tin A, B và
C có xác suất xuất hiện lần lượt là PA = 1/3, PB
= x và PC = y.
a)Tìm y và tính entropy H(X) của nguồn theo x.
b)Vẽ H(X) theo x.
c)Tìm x để H(X) lớn nhất.