Professional Documents
Culture Documents
THÔNG TIN SỐ - p3 - Mã hóa nguồn
THÔNG TIN SỐ - p3 - Mã hóa nguồn
THÔNG TIN SỐ - p3 - Mã hóa nguồn
THÔNG TIN SỐ
CHƯƠNG 3: MÃ HÓA NGUỒN
1
11/18/2022
2
11/18/2022
( )=
( )=
• Trong nguồn tin XN ta có định nghĩa lượng tin riêng của lớp tin xi như sau:
( )=− ( )
Tùy thuộc vào cơ số của hàm loga, ta có các đơn vị sau:
• n=2 đơn vị là bit
• n=e đơn vị là nat (nit)
• n = 10 đơn vị là Hartley
Xác suất này được gọi là xác suất có điều kiện ký hiệu là p(xi/yj),
biểu thị quy luật phân bố xác suất của nguồn tin theo các lớp tin ở
nơi nhận tin.
3
11/18/2022
Nói cách khác, ý nghĩa của lượng tin tương hỗ giữa 2 lớp tin mô tả
sự ràng buộc giữa 2 lớp tin, khi ràng buộc đó tăng lên thì lượng tin
tương hỗ giữa 2 lớp tin đó cũng lớn lên và cực đại bằng chính lượng
tin riêng của lớp tin.
4
11/18/2022
5
11/18/2022
Entropy ?
• Entropy là lượng tin trung bình chứa trong mỗi ký tự của nguồn tin.
• Công thức tính entropy:
6
11/18/2022
Morse
code
7
11/18/2022
• Lượng tin riêng của từng lớp tin chỉ có ý nghĩa đối với một lớp tin
nào đó, nó không phản ánh được giá trị tin tức của nguồn tin.
Lượng tin riêng của 1 lớp tin chỉ đánh giá tin tức của 1 tin khi nó
đứng riêng lẻ mà không phản ánh được tin tức của 1 tập hợp tin mà
nó tham gia.
• Lớp tin trong nguồn tin là những biến cố xảy ra một cách ngẫu
nhiên, lượng tin riêng gắn với nó cũng được coi là những biến ngẫu
nhiên.
8
11/18/2022
Để đánh giá được giá trị của những biến ngẫu nhiên này, người ta dùng
trị trung bình. Giá trị trung bình của lượng tin riêng trong nguồn tin được
gọi là lượng tin trung bình của nguồn tin, nó phản ánh giá trị tin tức trung
bình của nguồn tin:
( )= ( ) ( )
=− ( )log ( )
3.2. Entropy và đo lường thông tin cho các biến ngẫu nhiên liên
tục:
Entropy
• Lượng tin trung bình được hiểu là lượng tin trung bình trong
một tin bất kỳ của nguồn tin đã cho. Khi nhận được một tin, ta
sẽ nhận được một lượng tin trung bình, đồng thời độ bất ngờ
của tin cũng được giải thoát, do vậy độ bất ngờ của tin và
lượng tin về ý nghĩa vật lý trái ngược nhau nhưng về số đo lại
bằng nhau.
• Công thức tính độ dư (redundancy):
−
= =1−
9
11/18/2022
10
11/18/2022
11
11/18/2022
12
11/18/2022
DPCM (Điều chế mã xung vi sai) là một biến thể của PCM. PCM không hiệu quả vì
nó tạo ra rất nhiều bit và tiêu tốn nhiều băng thông hơn. Vì vậy, để khắc phục vấn
đề nêu trên, DPCM đã được tạo ra. Tương tự như PCM, DPCM bao gồm các quy
trình lấy mẫu, lượng tử hóa và mã hóa. Nhưng DPCM khác với PCM vì nó định
lượng sự khác biệt của mẫu thực tế và giá trị dự đoán. Đó là lý do nó được gọi là
PCM vi sai.
DPCM sử dụng đặc tính chung của PCM trong đó mức độ tương quan cao giữa
các mẫu liền kề được sử dụng. Mối tương quan này được tạo ra khi tín hiệu được
lấy mẫu ở tốc độ lớn hơn tốc độ Nyquist. Tương quan có nghĩa là tín hiệu không
thích ứng thay đổi nhanh chóng từ mẫu này sang mẫu khác.
Tỷ lệ mã R = k / n
(thường từ ½ -1)
13
11/18/2022
Mã vòng:
d ≥ r +s + 1
14
11/18/2022
Hết chương 3
15