Bài 1.

Đại lượng entropy được tính theo bit nếu sử dụng logarit cơ số 2, được tính theo byte nếu logarit cơ
số 256, được tính theo kibibyte (1024 byte) nếu sử dụng cơ số 262144. Viết ra quan hệ toán học giữa
H2(X) và H262144(X).
Bài 2. Giả sử X là một biến ngẫu nhiên rời rạc. Hãy chỉ ra rằng entropy của một hàm của X là nhỏ hơn
hoặc bằng entropy của X bằng cách giải thích các bước biến đổi (a), (b), (c), (d) sau:
(a)
H ( X , g( X )  H (X )  H (g(X ) | X )
(b )
 H (X )
(c )
H ( X , g ( X ))  H ( g ( X ))  H ( X | g ( X ))
(d )
 H ( g ( X ))

Do đó: H ( g ( X ))  H ( X )
Bài 3. Dãy số nguyên nào sau đây có thể là dãy độ dài từ mã của một mã tiền tố nhị phân?
a) 1, 2, 2, 3
b) 1, 2, 3, 3
c) 1, 2, 2, 2
d) 2, 2, 2, 2
Bài 4. Mã nào sau đây có thể là mã Huffman nhị phân của một biến ngẫu nhiên tứ phân
a) 01, 10, 00, 111
b) 0, 10, 110, 111
c) 1, 01, 10, 001
d) 0, 110, 111, 101
Bài 5. Cho biến ngẫu nhiên X nhận 6 giá trị {A, B, C, D, E, F} với các xác suất tương ứng là 0.5, 0.25,
0.1, 0.05, 0.05, 0.05.
a) Hãy xây dựng một mã Huffman nhị phân cho biến ngẫu nhiên này. Tính độ dài kỳ vọng của mã
vừa xây dựng được.
b) Hãy xây dựng mã Huffman tứ phân cho biến ngẫu nhiên trên (sử dụng 4 ký tự a, b, c, d để biểu
diễn mã). Tính độ dài trung bình của mã vừa xây dựng.
c) Một cách khác để xây dựng mã nhị phân cho biến ngẫu nhiên X là bắt đầu bằng mã tứ phân và
chuyển đổi chúng sang mã nhị phân (chuyển đổi các ký tự) bằng cách sử dụng các chuyển đổi
tương ứng a -> 00, b-> 01, c-> 10, d->11. Tính độ dài trung bình của mã nhị phân được tạo ra từ
quá trình chuyển đổi này cho biến ngẫu nhiên ban đầu.
d) Với biến ngẫu nhiên bất kỳ X, gọi LH là độ dài trung bình của mã nhị phân Huffman cho biến
ngẫu nhiên X, và gọi LQB là độ dài mã trình bình của mã nhị phân được tạo ra bằng quá trình
chuyển đổi từ mã tứ phân như đề cập ở câu trên. Chứng minh rằng:
𝐿 ≤ 𝐿 <𝐿 +2

1
 e) Cận dưới ở ví dụ trên là chặt chẽ. Hãy đưa ra một ví dụ trong đó mã được thiết lập bằng cách
chuyển đổi mã tứ phân tối ưu sang mã nhị phân và mã nhị phân nhận được cũng là mã tối ưu.
f) Cận trên chưa thực sự chặt. Thực ra, cận trên tốt hơn là 𝐿 ≤ 𝐿 + 1. Hãy chứng minh cận trên
này và đưa ra một ví dụ trong đó cận này thực sự chặt.
Bài 6. Tìm dung lượng của kênh không nhớ rời rạc sau:

trong đó Pr{Z = 0} = Pr{Z = a} = 1/2 . Bảng chữ cái vào là X = {0, 1}. Y = X + Z theo phép cộng số
thực. Giả sử Z là độc lập với X. Lưu ý dung lượng kênh phụ thuộc vào a.
Bài 7. Giả sử X ~ p(x), x = 1, 2, …, m là xác suất thắng của các con ngựa tham gia một cuộc đua. Giả sử tỉ
lệ đặt cược o(x) là công bằng theo p(x), tức là 𝑜(𝑥) = . Giả sử b(x) là tỉ lệ đặt cược lên con ngựa x,
( )
𝑏(𝑥) ≥ 0, ∑ 𝑏(𝑥) = 1. Khi đó hệ số tài sản kết quả sẽ là S(x) = b(x)o(x), với xác suất p(x).
a) Tìm tài sản kỳ vọng ES(X).
b) Tìm W*, tốc độ tăng tài sản tối ưu.
c) Giả sử
1, 𝑋 = 1 ℎ𝑜ặ𝑐 2
𝑌=
0, 𝑛𝑔ượ𝑐 𝑙ạ𝑖
Nếu thông tin này được biết trước cuộc đua thì nó làm tăng tốc độ tăng tài sản W* là bao nhiêu?

HẾT.