Bài 1.

Giả sử X, Y là hai biến ngẫu nhiên có phân phối p(x), p(y), phân phối xác suất có điều kiện p(x|y),
p(y|x), và phân phối hợp p(x,y). Bạn hãy viết công thức tính:
a) H(X,Y)
b) H(X|Y)
c) I(X;Y)
Bài 2. Cho biến ngẫu nhiên X với phân phối (1/2, 1/4, 1/8, 1/16, 1/16). Hãy tính:
a) H(X)
b) H4(X)
Bài 3. Giả sử X là một biến ngẫu nhiên rời rạc. Hãy chỉ ra rằng entropy của một hàm của X là nhỏ hơn
hoặc bằng entropy của X bằng cách giải thích các bước biến đổi (a), (b), (c), (d) sau:
(a)
H ( X , g( X )  H (X )  H (g(X ) | X )
(b )
 H (X )
(c )
H ( X , g ( X ))  H ( g ( X ))  H ( X | g ( X ))
(d )
 H ( g ( X ))

Do đó: H ( g ( X ))  H ( X )
Bài 4. Dãy số nguyên nào sau đây có thể là dãy độ dài từ mã của một mã tiền tố nhị phân?
c) 1, 2, 2, 3
d) 1, 2, 3, 3
e) 1, 2, 2, 2
f) 2, 2, 2, 2
Bài 5. Mã nào sau đây có thể là mã Huffman nhị phân của một biến ngẫu nhiên tứ phân
a) 01, 10, 00, 111
b) 0, 10, 110, 111
c) 1, 01, 10, 001
d) 0, 110, 111, 101
Bài 6. Cho biến ngẫu nhiên X nhận 6 giá trị {A, B, C, D, E, F} với các xác suất tương ứng là 0.5, 0.25,
0.1, 0.05, 0.05, 0.05.
a) Hãy xây dựng một mã Huffman nhị phân cho biến ngẫu nhiên này. Tính độ dài kỳ vọng của mã
vừa xây dựng được.
b) Hãy xây dựng mã Huffman tứ phân cho biến ngẫu nhiên trên (sử dụng 4 ký tự a, b, c, d để biểu
diễn mã). Tính độ dài trung bình của mã vừa xây dựng.
c) Một cách khác để xây dựng mã nhị phân cho biến ngẫu nhiên X là bắt đầu bằng mã tứ phân và
chuyển đổi chúng sang mã nhị phân (chuyển đổi các ký tự) bằng cách sử dụng các chuyển đổi

1
 tương ứng a -> 00, b-> 01, c-> 10, d->11. Tính độ dài trung bình của mã nhị phân được tạo ra từ
quá trình chuyển đổi này cho biến ngẫu nhiên ban đầu.
d) Với biến ngẫu nhiên bất kỳ X, gọi LH là độ dài trung bình của mã nhị phân Huffman cho biến
ngẫu nhiên X, và gọi LQB là độ dài mã trình bình của mã nhị phân được tạo ra bằng quá trình
chuyển đổi từ mã tứ phân như đề cập ở câu trên. Chứng minh rằng:
𝐿 ≤ 𝐿 <𝐿 +2
e) Cận dưới ở ví dụ trên là chặt chẽ. Hãy đưa ra một ví dụ trong đó mã được thiết lập bằng cách
chuyển đổi mã tứ phân tối ưu sang mã nhị phân và mã nhị phân nhận được cũng là mã tối ưu.
Bài 7. Xét kênh Y = X + Z (mod 13) trong đó Z nhận giá trị trong tập {1, 2, 3, 4} với phân phối đều p(z) =
(1/4, 1/4, 1/4, 1/4). X thuộc {0, 1, …, 12}.
a) Tính dung lượng kênh.
b) Dung lượng kênh đạt được khi X có phân phối p*(x) nào?
Bài 8. Xét một cuộc đua 3 ngựa với xác suất thắng của các con ngựa là (p1, p2, p3) = (3/4, 1/8, 1/8)
và tỉ lệ đặt cược công bằng là (𝑜 , 𝑜 , 𝑜 ) = (4, 4, 2).
a) Giá trị entropy của cuộc đua là bao nhiêu?
b) Tìm chiến lược chơi tối ưu 𝑏 ∗ và hệ số tăng tài sản 𝑊 ∗ tương ứng.
c) Tìm tập tất cả các cách đặt cược 𝑏 = (𝑏 , 𝑏 , 𝑏 ) mà nếu cứ chơi mãi, tài sản của người chơi sẽ
tăng đến vô hạn.