CHƯƠNG 2

NGUỒN TIN
 Thông Tin
 Thông tin
- Hai người nói chuyện với nhau. Cái mà trao đổi giữa họ
gọi là thông tin.
- Một người đang xem tivi/nghe đài/đọc báo, người đó
đang nhận thông tin từ đài phát/báo.
- Các máy tính nối mạng và trao đổi dữ liệu với nhau.
- Máy tính nạp chương trình, dữ liệu từ đĩa cứng vào
RAM để thực thi
 Thông Tin
 Thông tin
- Thông tin là cái được truyền từ đối tượng này đến đối tượng
khác để báo một “điều” gì đó.
- Thông tin chỉ có ý nghĩa khi “điều” đó bên nhận chưa biết.
- Thông tin xuất hiện dưới nhiều dạng âm thanh, hình ảnh,
- Ngữ nghĩa của thông tin chỉ có thể hiểu được khi bên nhận
hiểu được cách biểu diễn ngữ nghĩa của bên phát.
- Có hai trạng thái của thông tin: truyền và lưu trữ. Môi
trường truyền/lưu trữ được gọi chung là môi trường chứa
tin hay kênh tin.
 Thông Tin
 Thông tin
- Trong khoa học kỹ thuật, LTTT nghiên cứu nhằm tạo
ra một “cơ sở hạ tầng” tốt cho việc truyền thông tin
chính xác, nhanh chóng và an toàn; lưu trữ thông tin
một cách hiệu quả.

- Ở các góc độ nghiên cứu khác LTTT nghiên cứu các

vấn đề về cách tổ chức, biểu diễn và truyền đạt thông
tin, và tổng quát là các vấn đề về xử lý thông tin.
 Thông Tin
 Thông tin
- LTTT ứng dụng trong truyền thông và xử lý
thông tin: truyền thông, nén, bảo mật, lưu trữ, ...
- LTTT đã được áp dụng trong nhiều lĩnh vực
khác: vật lý, ngôn ngữ học, Kinh tế, khoa học
máy tính, tâm lý học, hóa học
 Thông Tin
 Bản chất thông tin
- Bản chất của quá trình truyền tin theo quan
điểm toán học
- Cấu trúc vật lý của môi trường truyền tin
- Các vấn đề liên quan đến tính chất bảo mật, tối
ưu hóa quá trình.
- (Các vấn đề đó thường được gọi là các lý thuyết
thông tin, lý thuyết năng lượng)
 Thông Tin
 Mục tiêu của lý thuyết thông tin
- Rời rạc hóa nguồn
- Mô hình phân phối xác suất của nguồn và đích
- Các vấn đề về mã hóa và giải mã
- Khả năng chống nhiễu của hệ thống
...
 Thông Tin
 Truyền tin
- Định nghĩa: Là quá trình dịch chuyển thông tin từ
điểm này sang điểm khác trong một môi trường xác
định.
- Hai điểm này sẽ được gọi là điểm nguồn tin
(information source) và điểm nhận tin (information
destination). Môi trường truyền tin còn được gọi là
kênh tin (chanel).

...
 Thông tin
 Hệ thống thông tin số
- Sơ đồ hệ thống truyền dẫn số đơn giản
 Nguồn tin
 Định nghĩa
- Để đánh giá định lượng cho tin tức, người ta đưa ra khái
niệm lượng tin.
- Lượng tin đưa ra khả năng dự đoán được của tin.
- Một tin có xác suất xuất hiện càng nhỏ thì có độ bất ngờ
càng lớn, lượng tin càng lớn, và ngược lại.
- Xét nguồn tin X rời rạc sinh ra các tin i với xác suất là
p(i), lượng tin i phải là một hàm có đặc điểm sau:
• Tỉ lệ nghịch với xác suất xuất hiện p(i), f(1/(p(i))).
• Hàm này phải bằng 0 khi p(i)=1
 Nguồn tin
 Tiêu chí đánh giá chất lượng hệ thống thông tin
- Tính hiệu quả
Tốc độ truyền tin
Truyền đồng thời nhiều tin khác nhau
Chi phí hoạt động và đầu tư
- Độ tin cậy
- Bảo mật
- Đảm bảo chất lượng dịch vụ
 Nguồn Tin
 Định nghĩa
- Nếu hai tin độc lập thống kê là i và j đồng thời xuất
hiện ta có tin là (i, j) , thì lượng tin chung phải bằng
tổng lượng tin của từng tin:

 Với luật nhân xác suất thì

 Vì vậy
 Nguồn Tin
 Định nghĩa
- Hàm loga thỏa mãn các yêu cầu này nên hàm log(1/p(i))
được chọn để đánh giá định lường cho tin.
- Lượng tin của một tin i được ký hiệu là I(i). Định nghĩa
lượng tin của một tin i

- Đơn vị là bit hay nat hay hartley khi cơ số là 2, e hay

10.
- Cơ số 2 hay được chọn
 Nguồn Tin
 Tính chất của lượng tin
- Nếu P(xi) < P(xj):

I(xi) > I(xj)

- Nếu xi và xj độc lập:

I(xi, xj) = I(xi) + I(xj)

 Nguồn Tin
 Ví dụ:
 Tung một đồng xu, xác suất xuất hiện mặt sấp và mặt
ngửa đều là 1/2.
Lượng tin chứa trong thông điệp “mặt xuất hiện là mặt
sấp” là: I =log2(1/(1/2)) = log2(2) = 1 (bit)
Lượng tin chứa trong thông điệp “mặt xuất hiện là mặt
ngửa” là: I =log2(1/(1/2)) = log2(2) = 1 (bit)
Nếu sử dụng hàm loge thì
I =loge (2) = ln(2) = 0.6931 (nat)
 Nguồn Tin
 Ví dụ:
 Tung hột xúc xắc, xác suất mặt xuất hiện có số nút
chẵn là: 3/6 = 1/2.
 Lượng tin chứa trong thông điệp “mặt xuất hiện là mặt
có số nút chẵn” là I = log10(1/(1/2)) = lg(2) = 0.301
(hartley)
 Nguồn Tin
 Ví dụ:
 Rút ngẫu nhiên một lá bài từ bộ bài 52 lá. Xác suất mà
lá bài rút ra có hình mặt người là 12/52.
 Lượng tin chứa trong thông điệp “Lá bài rút ra là lá bài
có hình mặt người”:

 1 
I  log 2    2.1155 (bit)
 12 / 52 
 Nguồn Tin
 Bài tập 2.1
Rút đồng thời 05 lá bài từ bộ bài 52 lá. Hãy tính lượng tin
của các thông điệp sau:
a) Có ít nhất 03 lá bài có hình mặt người trong 05 lá bài
vừa rút ra.
b) Có ít nhất 03 lá bài giống nhau (cùng nút hoặc cùng là
J, Q hoặc K) trong 05 lá bài vừa được rút ra.
 Nguồn Tin
 Bài tập 2.2
Rút đồng thời 04 lá bài từ bộ bài 52 lá. Hãy tính lượng tin
của các thông điệp sau:
“04 lá bài rút ra là liêp tiếp ”
Ví dụ: 1♣, 2♠, 3♦, 4♥ là 04 lá bài liên tiếp
J♥, Q♥, K♣, 1♦ là 04 lá bài liên tiếp.
 Nguồn Tin
 Bài Tập 2.3
Nguồn tin X có 6 ký tự với xác suất xuất hiện lần
lượt là PA = ½, PB = ¼, PC = 1/8, PD = PE =1/20, PF
= 1/40.
a)Tính lượng thông tin chứa đựng trong thông
điệp ABABBA
b)Tính lượng thông tin chứa đựng trong thông
điệp ACBDEF
 Nguồn Tin
 Entropy của nguồn tin
- Entropy H được định nghĩa là giá trị trung bình thống
kê của lượng tin. Đó là lượng tin trung bình chứa trong
một ký tự bất kỳ của nguồn tin.
- Entropy của một nguồn M

p(m) là xác suất của ký tự thứ m và  p  m   1.

m 1
 Nguồn Tin
 Entropy của nguồn tin
 Giá trị lớn nhất của entropy là

đạt được khi

 Tốc độ thông tin nguồn: R=rH, r (bit/s)
 Nguồn Tin
 Thông lượng của kênh (Channel Capacity)
- Lượng tin tối đa kênh cho đi qua trong một đơn vị thời
gian mà không gây lỗi. Ký hiệu của thông lượng kênh
là C và đơn vị đo (bit/s).
- Thông thường tốc độ lập tin bé hơn nhiều so với thông
lượng tin: R << C
 Nguồn Tin
 Thông lượng của kênh (Channel Capacity)
 Truyền tin trên kênh không nhiễu: toàn bộ tin tức
được truyền qua kênh mà không bị lỗi. Lượng tin
tối đa mà kênh cho qua cũng bằng với lượng tin tối
đa mà nguồn có thể thiết lập.
 Thông lượng kênh cho trường hợp này là

 Theo Shannon, nếu R<C thì có thể mã hóa để làm

cho tốc độ lập tin của nguồn tiệm cận với thông
lượng kênh: C-R<e, e vô cùng bé. Phương pháp mã
hóa này được gọi là mã hóa thống kê tối ưu.
 Nguồn Tin
 Thông lượng của kênh (Channel Capacity)
 Truyền tin trên kênh có nhiễu: lượng tin truyền đi bị
hao hụt một phần do nhiễu nên thông lượng kênh bị
giảm đi. Lượng tin bị nhiễu phá hủy trong một đơn
vị thời gian được tính bằng n0E. Thông lượng kênh
có nhiễu là:

 Theo Shannon, nếu R<C thì có thể mã hóa để tin

được truyền đi trong kênh với xác suất lỗi bé tùy ý.
 Nếu R>C thì không thể truyền đi mà không bị lỗi.
 Nguồn Tin
 Thông lượng của kênh (Channel Capacity)
 Theo định lý Hartley-Shannon, thông lượng của
kênh là:

 Băng thông của kênh là B, tỷ số tín hiệu trên nhiễu

trung bình là S/N.
 Nguồn Tin
 Ví dụ:
Cho nguồn tin X có hai tin x1 và x2, và xác suất xuất hiện
lần lượt là:

a) P(x1) = P(x2) = 0.5

b) P(x1) = 0.7 và P(x2) = 0.3
c) P(x1) = 0.05 và P(x2) = 0.95
Tính entropy của nguồn tin trong các trường hợp và cho
nhận xét.
 Nguồn Tin
 Ví dụ (tt)
a) Entropy của nguồn X:
 1   1 
I  P  x1  log 2    P  x 2  log 2  
 P  x1    P x2  
 0.5  log 2  2   0.5  log 2  2   1(bit)
b) Entropy của nguồn X:
 1   1 
I  0.7  log 2    0.3  log 2  
 0.7   0.3 
 0.8813 (bit)
 Nguồn Tin
 Ví dụ (tt)
c) Entropy của nguồn X:

 1   1 
I  0.05  log 2    0.95  log 2  
 0.05   0.95 
 0.2864 (bit)
Nhận xét: Entropy của nguồn trong trường hợp a) là lớn
nhất .
 Nguồn Tin
 Bài Tập 2.4
Một nguồn tin gồm hai tin A và B có xác suất
x0
xuất hiện lần lượt là PA = x và PB = 1-x, với
a)Tính entropy H của nguồn.
b)Vẽ H theo x và xác định giá trị của x để H đạt
giá trị lớn nhất.
 Nguồn Tin
 Bài Tập 2.5
Một nguồn tin gồm ba tin A, B và C có xác suất
xuất hiện lần lượt là PA = 1/3, PB = x và PC = y.
a)Tìm y và tính entropy H của nguồn theo x.
b)Vẽ H theo x và tìm x để H lớn nhất.
 Nguồn Tin
 Bài Tập 2.6
Một nguồn tin X có M tin, trong đó có một tin có
xác suất xuất hiện bằng x (x>0), trong khi các
tin còn lại có xác suất xuất hiện bằng nhau.
a)Tính entropy H của nguồn tin.
b)Nếu x quá nhỏ hơn so với 1  x = 1, chứng
minh rằng entropy H có thể được xấp xỉ như:
1
H  x log 2    log 2  M  1 .
 x
 Nguồn Tin
 Lượng tin có điều kiện

- Lượng tin X = xi khi đã xảy ra Y = yj

 
I  xi / y j    log P  xi / y j  .

- P(x/y) là xác suất có điều kiện.

 Nguồn Tin
 Lượng tin tương hỗ

I  xi ; y j   I  xi   I  xi / y j 
 P  xi / y j  
 log  
 P  xi  
 
 Nguồn Tin
 Lượng tin tương hỗ có điều kiện
- Giả sử có 3 tâ ̣p tin rời rạc X, Y, Z và xi  X, yj
 Y, zk  Z Khi đó lượng tin tương hỗ có điều
kiê ̣n:

P( xi / y j zk )
I ( xi ; y j / zk )  log
P( xi / zk )
 Nguồn Tin
 Tính chất lượng tin tương hỗ
- Tính chất 1: I(xi)  I(xi;yj)

- Tính chất 2: I(xi;yi) = I(yi;xi)

- Tính chất 3: I(xi; yjzk) = I(xi; yj)+I(xi;zk/yj).

- Tính chất 4: I(xi,yj) = I(xi) + I(yj) - I(xi;yj)

 Nguồn Tin
 Entropy đồng thời
- Xét hai biến ngẫu nhiên rời rạc xi  X, yj  Y
với xác suất xuất hiện lần lượt là P(xi) và P(yj),
với i=1,2,...,n và j=1,2,...,m .
- Entropy đồng thời
n m
H ( XY )   P( xi , y j )log P( xi , y j )
i 1 j 1
 Nguồn Tin
 Các tính chất
- H(XY) = H(X)+H(Y/X)

- H(XY) = H(Y)+H(X/Y)

- H(XYZ) = H(X)+H(Y/X)+H(Z/X,Y)
= H(XY) + H(Z/X,Y)
 Nguồn Tin
 Entropy có điều kiện
- Xét hai biến ngẫu nhiên rời rạc xiX và yj  Y
với xác suất xuất hiện lần lượt là P(xi) với i = 1,
2, ., n và P(yj) với j = 1, 2, ., m.
- Entropy có điều kiện H(X/Y) của tập tích XY
là độ bất định trung bình của X khi đã xảy ra
một tin bất kỳ trong nguồn tin Y:
n m
H ( X / Y )   P( xi , y j )log P( xi / y j )
i 1 j 1
 Nguồn Tin
 Tính chất của entropy có điều kiện
- Tính chất 1:

H (X )  H (X / Y)

- Tính chất 2:

H ( XY )  H (YX )
 Nguồn Tin
 Entropy tương hỗ
- H(X;Y) = H(X) - H(Y/X)

- H(X;Y) = H(Y) - H(X/Y)

- H(X;YZ) = H(X;Y) + H(X;Z/Y)