Cơ Sở Lý Thuyết Truyền Tin

1
Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông

GIỚI THIỆU HỌC PHẦN
2
TÀI LIỆU THAM KHẢO
3
NỘI DUNG MÔN HỌC
4
5
- Nhận biết được một số định nghĩa và khái niệm
cơ bản làm tiền đề cho việc phân tích các phép
biến đổi tiếp theo.
6
NỘI DUNG
7
1.1 SƠ LƯỢC LỊCH SỬ PHÁT TRIỂN
ĐẶC ĐIỂM, NHIỆM VỤ MÔN HỌC
1.1.1 Sơ lược lịch sử phát triển

1.1.2 Đặc điểm và nhiệm vụ của môn học
8
- Hartley là người đầu tiên đưa ra khái niệm “số đo lượng thông
tin”(1928).
- Sau đó là một loạt những công trình nghiên cứu của các nhà khoa
hoc: D.V Geev với “lý thuyết chọn tuyến tính”, Kachenhicov với
“lý thuyết thế chống nhiễu”, …
- C.E Shanon đã chứng minh một loạt các định lý về khả năng cho
thông qua của kênh truyền khi có nhiễu có xét đến cấu trúc thống
kê của tin, và các định lý mã hóa là nền tảng vững chắc của lý
thuyết thông tin (1948- 1949).
- Lý thuyết thông tin phát triển theo hai hướng chủ yếu
+ Lý thuyết thông tin toán học
+ Lý thuyết thông tin ứng dụng
9
Môn học chỉ xét các mô hình toán học
của việc truyền nhận, biến đổi và xử lý
tin. Nó tách khỏi bản chất vật lý cụ thể
của nguồn tin, tin, tín hiệu và kênh
truyền…
10
1.1.2 ĐẶC ĐIỂM VÀ NHIỆM VỤ CỦA MÔN HỌC
11
1.2 MỘT SỐ ĐỊNH NGHĨA VÀ KHÁI NIỆM CƠ BẢN
1.2.1 Một số khái niệm cơ bản

1.2.2 Các khối cơ bản của hệ thống truyền tin
12
1.2.1 MỘT SỐ KHÁI NIỆM CƠ BẢN
❖ Thông tin (tin tức)

Khái niệm
Thông tin là những tính chất xác định của vật chất được con người hay
hệ thống thụ cảm cảm nhận được từ thế giới bên ngoài hoặc từ những quá
trình xảy ra bên trong nó.
Thông tin là sự đa dạng được thể hiện bằng nhiều cách khác nhau:
Cấu trúc, thuộc tính, trình độ tổ chức…
Thực chất của tất cả các ngành khoa học là thu thập và xử lý thông tin.
13
❖ Tin
Khái niệm
Tin là dạng vật chất cụ thể biểu diễn thông tin.
Phân loại tin: Tin có hai dạng cơ bản
+ Tin liên tục
+ Tin rời rạc
➢ Thông tin là lõi của vấn đề, tin là vỏ của vấn đề. Thông tin là nội dung,
tin là hình thức. Tin là thứ biểu đạt, thông tin là thứ cần biểu đạt.
14
❖ Tín hiệu
Khái niệm
Tín hiệu là các đại lượng vật lý biến thiên phản ánh tin cần truyền.
- Các đại lượng vật lý: Dòng điện, điện áp, ánh sáng…
- Tín hiệu là hàm của thời gian, hoặc là
không gian, hoặc là hàm xác định hoặc
ngẫu nhiên của thời gian.
15
1.2.2 CÁC KHỐI CƠ BẢN CỦA HỆ THỐNG TRUYỀN TIN
NHIỄU
NGUỒN MÁY MÁY NHẬN

TIN PHÁT ĐƯỜNG THU TIN
TRUYỀN TIN
KÊNH TRUYỀN TIN
Sơ đồ khối tổng quát của hệ thống thông tin
16
❖ Nguồn tin
- Là nơi sản sinh ra tin tức (thông tin) để truyền đi
- Phân loại
+ Nguồn rời rạc
+ Nguồn liên tục
- Tính chất
+ Tính thống kê: A = a1 , a2  , p (a1 )  p (a2 )
+ Tính hàm ý: p ( y / ca )  p ( y / ta )
17
❖ Máy phát
- Khái niệm
Là thiết bị thực hiện biến đổi tập tin thành tín hiệu tương ứng để truyền đi.
- Yêu cầu
Phép biến đổi trên phải là phép biến đổi đơn trị hai chiều
18
❖ Đường truyền tin
- Khái niệm
Là môi trường vật lý trong đó tín hiệu được
truyền từ nơi phát đến nơi thu.
- Hậu quả truyền tin trên đường truyền tin
+ Mất mát thông tin
+ Tổn hao năng lượng

❖Máy thu
- Là thiết bị lặp lại (khôi phục lại) tin ban đầu từ tín hiệu nhận được.
- Máy thu thực hiện phép biến đổi ngược lại phép biến đổi ở máy phát.
20
❖ Nhận tin: Là thiết bị thực hiện ba chức năng
- Lưu giữ tin
- Biểu thị tin
- Xử lý tin
21
❖ Kênh truyền tin

Là tập hợp mọi thiết bị kỹ thuật dùng cho việc
truyền tin từ nguồn tới nơi nhận.
22
❖ Nhiễu
Là tất cả những tác động bên ngoài vào hệ thống truyền tin, làm
mất mát thông tin hoặc gây rối loạn quá trình trao đổi tin tức.
Nói cách khác, nhiễu là tất cả yếu tố xấu làm ảnh hưởng đến độ
chính xác của việc truyền tin.
23
1.3 SƠ ĐỒ KHỐI TỔNG QUÁT CỦA MỘT HỆ
THỐNG TRUYỀN TIN SỐ
1.3.1 Sơ đồ khối của một hệ thống truyền tin số

1.3.2 Một số phương pháp biến đổi thông tin số
24
1.3.1 SƠ ĐỒ KHỐI CỦA MỘT HỆ THỐNG TRUYỀN TIN SỐ
❖ Sơ đồ khối của một hệ thống thông tin số đơn giản
25
1.3.1 SƠ ĐỒ KHỐI CỦA MỘT HỆ THỐNG TRUYỀN TIN SỐ
❖ Sơ đồ khối của một hệ thống thông tin số chi tiết
26
1.3.2 MỘT SỐ PHƯƠNG PHÁP BIẾN ĐỔI THÔNG TIN SỐ
❖ Định dạng/ Mã nguồn
Định dạng/Mã nguồn
Mã hóa ký tự Các bộ mã hóa nguồn
Lấy mẫu Mã Huffman
Lượng tử hóa
Mã hóa
27
❖ Mã mật
- Thực hiện biến đổi tin tức từ dạng rõ (có thể hiểu) thành ra dạng
mã (không thể hiểu) theo một khóa xác định.
- Bảo đảm bảo mật tin tức.
Các hệ mật mã
Mật mã cổ điển
Mật mã khóa công

khai
28
❖ Mã kênh
- Là phương pháp mã hóa làm giảm thiểu lỗi tại đầu thu.
- Thực hiện chèn thêm bít vào bản tin cần truyền. Các bít chèn thêm thực
hiện chức năng phát hiện lỗi và sửa lỗi.
- Mã kênh gồm:
+ Mã khối: Mã Cyclic, mã Hamming, mã Berger
+ Mã liên tục: Mã xích Chuỗi bit được truyền đi (T)
n bit
k bit thông tin kiểm tra
Nội dung (M) CRC (R)

29
❖ Điều chế
- Điều chế là quá trình ánh xạ (gửi, gắn) thông
tin vào sóng mang, bằng cách thay đổi các
thông số của sóng mang theo quy luật của tín
hiệu tin.
- Sóng mang: Là một dao động cao tần dạng sin
hoặc cos.
- Một số phương pháp điều chế:
+ ASK
+ FSK
+ PSK
30
❖ Ghép kênh/ Đa truy nhập

- Ghép kênh
+ Thực hiện truyền tin từ nhiều nguồn tin

khác nhau trên cùng một hệ thống truyền dẫn.
+ Mục đích: Tận dụng tài nguyên kênh truyền.
- Đa truy nhập
+ Cho phép nhiều người dùng có thể truy nhập

vào mạng thông tin để sử dụng các dịch vụ.
31
❖ Trải phổ
- Thực hiên trải rộng phổ tín hiệu.
- Chống nhiễu (cố ý, do kẻ địch gây ra)

và bảo mật tin tức.
32
❖ Đồng bộ
- Máy thu căn cứ vào tín hiệu tham

chiếu để điều chỉnh các bộ dao động
đồng bộ với máy phát.
- Tín hiệu tham chiếu mang thông tin

về pha và thông tin định thời.
33
1.4 CÁC CHỈ TIÊU CHẤT LƯỢNG CƠ BẢN
CỦA MỘT HỆ THỐNG TRUYỀN TIN
1.4.1 Tính hữu hiệu và độ tin cậy

1.4.2 Tính kinh tế và tính an toàn
34
1.4.1 TÍNH HỮU HIỆU VÀ ĐỘ TIN CẬY
❖ Tính hữu hiệu

o Tốc độ truyền tin cao
o Truyền được đồng thời nhiều tin
❖ Độ tin cậy
o Độ chính xác của việc thu nhận tin cao
(Tỷ lệ lỗi bit (BER) thấp)
35
1.4.2 TÍNH KINH TẾ VÀ TÍNH AN TOÀN
❖ Tính kinh tế
Tính kinh tế được thể hiện bởi chi phí cho mục
đích thông tin: s/bit
❖ Tính an toàn
o Truyền tin bí mật, xác thực
o Bảo đảm tính toàn vẹn của thông tin
36
1.5 GIỚI THIỆU MỘT SỐ HỆ THỐNG THÔNG TIN
1.5.1 Giới thiệu một số hệ thống thông tin

1.5.2 Xu hướng phát triển hệ thống thông tin
37
1.5.1 GIỚI THIỆU MỘT SỐ HỆ THỐNG THÔNG TIN
HỆ THỐNG THÔNG TIN
Môi trường truyền Loại hình dịch vụ Dải tần số làm việc
Thông tin vô tuyến Hệ thống truyền số Hệ thống thông tin

(Viba, vệ tinh…) liệu sóng ngắn
Hệ thống thông tin

Thông tin hữu tuyến
Hệ thống truyền hình sóng cực ngắn
(Thông tin quang…)
…
Hệ thống thông tin

thoại
38
Ví dụ
Hệ thống thông tin sóng ngắn
Đặc điểm:
- Dải tần công tác: 0,1-30Mhz
- Dạng điều chế chính: AM, FM, SSB
- Cự ly liên lạc: 102 ÷ 103 km
- Tốc độ truyền: 50 Baud - 3000bps.
- Một số tính năng đặc biệt:
+ Tự động nhảy tần
+ Tự động thiết lập đường truyền
+ Tự động mở máy thu theo mã
39
Ví dụ
Hệ thống thông tin song cực ngắn
Đặc điểm:
- Dải tần công tác: 30Mhz- 150Mhz

- Dạng điều chế chính: FM
- Truyền tin: Voice, Audio, Fax
- Cự ly liên lạc lớn: Dùng trong thông tin vũ trụ
40
Ví dụ
Hệ thống thông tin Viba
Đặc điểm:
- Dải tần công tác: 150Mhz ÷ 20Ghz
- Số kênh liên lạc: n.10 ÷ n.103
- Cự ly liên lạc: Trong tầm nhìn thẳng
41
1.5.2 XU HƯỚNG PHÁT TRIỂN CỦA CÁC THIẾT BỊ ĐẦU CUỐI
TRONG CÁC HỆ THỐNG THÔNG TIN
THIẾT BỊ CŨ THIẾT BỊ MỚI
Analog Digital
Narron band Broad band
simplex Duplex
Off line Online
Clear Security
Mono media Multi media
Passive Active
Idle Intelligent
Public Privacy
Mono access Multi access
Mono chanel Multi chanel
Non adative Adative 42
Câu 1: Hãy trình bày khái niệm về thông tin và tin? Nêu ví dụ?
Câu 2: Trình bày khái niệm và nêu đặc điểm của nguồn tin.
Câu 3: Trình bày các chức năng của thiết bị nhận tin.
Câu 4: Trình bày về khái niệm tín hiệu và đường truyền tin? Những hậu
quả xảy ra trên đường truyền tin?
Câu 5: Trình bày những chỉ tiêu chất lượng cơ bản của hệ thống truyền tin?
43
1
- Trên cơ sở đó, đánh giá được:
- Vận dụng làm một số bài tập
2
NỘI DUNG
3
2.1 LƯỢNG THÔNG TIN, SỐ ĐO LƯỢNG THÔNG TIN
2.1.1 Mối quan hệ giữa thông tin và độ bất định
2.1.2 Mối quan hệ giữa thông tin và xác suất
2.1.3 Các tiên đề về thông tin
2.1.4 Đơn vị thông tin
2.1.5 Lượng thông tin tương hỗ
Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 4

2.1.2 MỐI QUAN HỆ GIỮA THÔNG TIN VÀ XÁC SUẤT
Ví dụ
- Điều gì đã xác định (đã biết hay
có thể đoán chắc được) thì điều đó
không có thông tin.
- Điều gì không xác định (không
đoán chắc chắn được, có độ bấp
bênh…) thì điều đó có thông tin.
- Độ bất định về đối tượng cần

nghiên cứu (tìm hiểu, xem xét) càng
lớn thì thông tin di nó mang lại
càng lớn.
5
2.1.1 MỐI QUAN HỆ GIỮA THÔNG TIN VÀ ĐỘ BẤT ĐỊNH
▪ Khái niệm ‘thông tin’ gắn liền với khái niệm ‘độ bất định’.
▪ Thông tin là mức độ thủ tiêu của độ bất định.
▪ Độ lớn nhỏ của thông tin (lượng thông tin) được xác định bằng mức độ
thủ tiêu của độ bất định:
Độ bất định trước khi nhận tin trừ độ bất định sau khi nhận tin ↔ Độ bất
định tiên nghiệm trừ đi độ bất định hậu nghiệm ↔ Thông tin trước khi nhận
tin trừ thông tin sau khi nhận tin ↔ Thông tin tiên nghiệm trừ thông tin hậu
nghiệm.
6
Ví dụ
7
Kết luận
+ Khái niệm “Thông tin (Độ bất định)” và khái niệm
“Xác suất” có mối quan hệ phụ thuộc lẫn nhau.
+ Gọi 𝐼 𝑥𝑖 là thông tin về tin về tin (sự kiện, biến cố…) 𝑥𝑖
𝑝(𝑥𝑖 ) xác suất xuất hiện tin (sự kiện, biến cố) 𝑥𝑖
Ta có thể viết:
𝐼 𝑥𝑖 = 𝑓 𝑝(𝑥𝑖 )

2.1.3 CÁC TIÊN ĐỀ VỀ THÔNG TIN
❖Tiên đề 1: Thông tin là đại lượng không âm
I 𝑥𝑖 ≥ 0
❖Tiên đề 2: Biến cố chắc chắn không cho thông tin
𝐼(𝑥𝑖 )ቚ =0
𝑝 𝑥𝑖 =1
❖Tiên đề 3: Tiên đề về sự cộng tính của thông tin

Nếu 𝑥𝑖 , 𝑥𝑗 là hai sự kiện độc lập thống kê
I ( xi x j ) = I ( xi ) + I ( x j )
Nếu xi, xj là hai sự kiện phụ thuộc.
I ( xi x j ) = I ( xi ) + I ( x j / xi )
9
2.1.3 CÁC TIÊN ĐỀ VỀ THÔNG TIN
Theo tiên đề 3, Nếu xi, xj là hai sự kiện phụ thuộc.
I ( xi x j ) = I ( xi ) + I ( x j / xi )
Ta có: f [ p ( xi x j )] = f [ p ( xi ). p ( x j / xi )] = f [ p ( xi )] + f [ p ( x j / xi )]
Đặt p ( xi ) = p, p ( x j / xi ) = q → f ( pq ) = f ( p ) + f (q)
Vi phân hai vế theo p: qf ' ( pq ) = f ' ( p )

Nhân hai vế với p: pqf ( pq) = pf ( p ) đặt
' pq =  →
'  f '
( ) = pf '
( p)
Hay ta có phương trình vi phân:
pf ' ( p ) = k = const → f ( p ) = k ln p + C
Theo tiên đề 2: f ( p ) = k ln p
Như vậy: I ( xi ) = k ln p
10
2.1.4 ĐƠN VỊ THÔNG TIN
❖ Từ những nhận xét trên ta chứng minh được:

𝐼 𝑥 = 𝑘. ln[𝑝 𝑥 ] (2.1)
Trong đó k là hệ số, k< 0

+k = -1 I(x) = - lnp(x) [Nat] (2.2)
+ k = -1/ln2 I(x) = - log2 p(x) [Bit] (2.3)
+ k = -1/ln10 I(x) = - logp(x) [Hart] (2.4)
Đơn vị thông tin thường dùng là Bit, vì vậy công thức hay được sử
dụng là: I(x) = - log2 p(x)
11
2.1.5 LƯỢNG THÔNG TIN TƯƠNG HỖ
❖ Xét mô hình kênh truyền tin như sau:
❖ Lượng thông tin tương hỗ:

I (ab) = I (a ) − I (a / b)
log 2 p (a ) (2.5)
I (ab) = −
log 2 p (a / b)
Lượng thông tin tương hỗ còn được gọi là lượng thông tin truyền
qua kênh truyền.
12
❖ Lượng thông tin có điều kiện I (a / b)

Khi kênh không có nhiễu:
b  a  p ( a / b) = p ( a / a ) = 1  I ( a / b) = 0
I (ab) = I (a )
Khi kênh có nhiễu:
b  a  p ( a / b)  1  I ( a / b)  0
I (ab)  I (a )
Do vậy, I (a / b) đặc trưng cho lượng thông tin tổn hao do nhiễu.
13
2.2 ENTROPI CỦA NGUỒN RỜI RẠC
2.2.1 Bản chất thống kê của nguồn rời rạc
2.2.2 Entropie của nguồn rời rạc
2.2.3 Một số thuộc tính của Entropie
2.2.4 Entropie của nguồn nhị phân
2.2.5 Entropie của trường các sự kiện đồng thời
14
2.2.1 BẢN CHẤT THỐNG KÊ CỦA NGUỒN RỜI RẠC
❖ Xét một nguồn rời rạc A

A = ai , p (ai ), i = 1  s
Hoặc viết dưới dạng tường minh:
𝑎1 𝑎2 𝑎𝑛
𝐴= …….
𝑝(𝑎1 ) 𝑝(𝑎2 ) 𝑝(𝑎𝑛 )
 p(a ) = 1, 0  p(a )  1
i =1
i i
I (ai ) = − log 2 p (ai ) Lượng thông tin riêng về mỗi tin thuộc nguồn
15
2.2.1 BẢN CHẤT THỐNG KÊ CỦA NGUỒN RỜI RẠC
Số liệu thống kê của Bake Pipe (1982)

2.2.2 ENTROPIE CỦA NGUỒN RỜI RẠC
Định nghĩa
Entropie của nguồn rời rạc là trung bình thống kê lượng
thông tin riêng, chứa trong các tin của nguồn.
H ( A) = M  I (ai )
s
=  p (ai ) I (ai ) (2.6)
i =1
s
= −  p (ai ) log 2 p (ai ) = H1 ( A)
i =1
17
Ý nghĩa
- 𝐻1 𝐴 : Biểu thị độ bất định trung bình về mỗi tin của nguồn
trước khi nhận tin. Nghĩa là một cách trung bình nó cho ta
những hiểu biết tiên nghiệm về mỗi tin của nguồn.
- I(𝐴): Cho ta những hiểu biết hậu nghiệm một cách trung bình
về mỗi tin của nguồn. Nghĩa là những hiểu biết về từng tin
của nguồn sau khi độ bất định bị thủ tiêu.
Một vài giá trị của 𝐻1 𝐴

H1(Anh ng÷) = 4,19 bit, H1(Nga ng÷) = 4,35 bit,
H1(ViÖt ng÷) = 4,517 bit

Ví dụ
Tính Entropie của nguồn rời rạc sau:
A a1 a2 a3 a4
P(ai) 1/2 1/4 1/8 1/8
19
2.2.3 MỘT SỐ THUỘC TÍNH CỦA ENTROPIE
❖Tính chất 1: Entropie của nguồn rời rạc là đại lượng không âm
𝐻1 (𝐴) ≥ 0 (2.7)
❖Tính chất 2: Nguồn rời rạc có s tin đồng xác suất, cho
Entropie cực đại và giá trị cực đại là 𝑙𝑜𝑔2 𝑠 .
𝐻1 𝐴 ≤ 𝑙𝑜𝑔2 𝑠 (2.8)
❖Tính chất 3: Entropie của nguồn rời rạc là một đại lượng giới nội
0 ≤ 𝐻1 (𝐴) ≤ 𝑙𝑜𝑔2 𝑠 (2.9)
20
2.2.4 ENTROPIE CỦA NGUỒN NHỊ PHÂN
❖Nguồn nhị phân được cho như sau Entropie của nguồn nhị
phân nhận giá trị cực đại,
 a1 a2  cực tiểu khi nào? Vì sao?
A= 
 p 1 − p  H1 ( A)
1
❖ Entropie của nguồn
s
H1 ( A) = − p (ai ) log p (ai )
i =1
= − p log p − (1 − p ) log(1 − p )
0 1/ 2 1 p
Định nghĩa: Bit là Entropie của một hệ vật lý có hai trạng

thái độc lập đồng xác suất.
21
2.2.5 ENTROPIE CỦA TRƯỜNG CÁC SỰ KIỆN ĐỒNG THỜI
❖Xét hai nguồn rời rạc A và B
A= ( a1 a2
p ( a1 ) p ( a2 )
as
...
p ( as ) ) B= ( a1 a2
p ( a1 ) p ( a2 )
at
...
p ( at ) )
0  p(ai )  1, i :1, s 0  p (a j )  1, j :1, t
s t
 p(a ) = 1
i =1
i  p(a ) = 1
j =1
j
Trong đó: A, B: Các trường sự kiện

ai , b j : Các sự kiện cơ bản

❖Trường sự kiện đồng thời
Xét sự kiện tích
ck = (ai b j ), p (ck ) = p (ai b j )
Trường sự kiện C được gọi là tích (giao) của hai trường sự kiện A và
B hay còn gọi là trường sự kiện đồng thời:
C = AB = ( a1b1
p ( a1b1 )
a1b2
... a1bt
...
a2 b j
... as bt
p ( a1b2 ) p ( a1bt ) p ( a2b j ) p ( as bt ) )
0  p (aib j )  1; i = 1  s, j = 1  t
𝑠 𝑡
෍ ෍ 𝑝 𝑎𝑖 𝑏𝑗 = 1
𝑖=1 𝑗=1
❑ Entropie của trường sự kiện đồng thời H(C)
Entropie của trường sự kiện đồng thời C = ( AB ) bằng tổng

Entropie của các trường sự kiện cơ bản A và B nếu A và B độc lập
thống kê:
𝐻 𝐶 = 𝐻 𝐴𝐵 = 𝐻 𝐴 + 𝐻(𝐵) (2.10)
24
Lượng thông tin riêng trung bình của trường sự kiện đồng
thời bằng tổng lượng thông tin riêng trung bình của các trường sự
kiện cơ bản.
Tổng quát: Với n nguồn độc lập (n trường sự kiện độc lập)
n
X =  X k , k = 1  n  H ( X ) =  H ( X k ) (2.11)
k =1
25
2.3 ENTROPI CÓ ĐIỀU KIỆN
2.3.1 Entropie có điều kiện về một trường tin khi đã biết trường
tin khác
2.3.2 Một số thuộc tính của Entropie có điều kiện
2.3.3 Hai trạng thái đặc biệt của kênh truyền
2.3.4 Entroropiepie hai chiều và nhiều chiều của nguồn rời rạc

2.3.1 ENTROPIE CÓ ĐIỀU KIỆN VỀ MỘT TRƯỜNG TIN KHI ĐÃ
BIẾT TRƯỜNG TIN KHÁC
- Lượng thông tin tương hỗ giữa hai tin 𝑎𝑖 và 𝑏𝑗 :

I (ai b j ) = I (ai ) − I (ai / b j )
I (ai / b j ) - Lượng thông tin có điều kiện về 𝑎𝑖 khi đã rõ 𝑏𝑗
- Khi phía phát, phía thu không phải chỉ có một tin mà là cả
một trường tin:
 a1 a2 ... as   b1 b2 ... bt 
A=  B=
 p (a1 ) p (a2 ) ... p ( as )   p (b1 ) p (b2 ) ... p (bt ) 
0  p (ai )  1 i = 1  s 0  p (b j )  1 j = 1  t
s t
 p(ai ) = 1  p(b j ) = 1
i =1 i =1 27
2.3.1 ENTROPIE CÓ ĐIỀU KIỆN VỀ MỘT TRƯỜNG TIN KHI ĐÃ BIẾT
TRƯỜNG TIN KHÁC
Trường hợp 1
Phía phát phát cả tập tin A, phía thu chỉ nhận được một tin 𝑏𝑗
a1 b1
a2 b2
ai (
I ai b j ) bj
as bt
❖ Entropie có điều kiện về trường tin A khi đã rõ một tin 𝑏𝑗 của trường
tin B: H ( A / b j )
28
TRƯỜNG TIN KHÁC
H ( A / b j ) được xác định như sau:

H ( A / b j ) = M I (ai / b j )
s
H ( A / b j ) = −  p (ai / b j ) log 2 p (ai / b j ) (2.12)
i =1
➢Ý nghĩa: H(A/𝑏𝑗 ) Đặc trưng cho lượng thông tin tổn hao trung bình
của mỗi tin ở phía phát khi phía thu thu được tin 𝑏𝑗 .
29
TRƯỜNG TIN KHÁC
Trường hợp 2
Khi phía phát phát đi một tin 𝑎𝑖 , phía thu thu được một tâp tin B.
a1 b1
a2 b2
ai (
I b j ai ) bj
as bt
Tương tự trên ta có:
Entropie có điều kiện về trường tin B khi đã rõ một tin 𝑎𝑖 của trường
tin A: H(B/ 𝑎𝑖 )
( )
t
( ) ( )
H ( B / ai ) = M I b j ai = −  p b j / ai log 2 p b j / ai (2.13)
j =1
➢Ý nghĩa: H(B/𝑎𝑖 ) đặc trưng cho lượng thông tin riêng trung bình
của mỗi tin ở phía thu khi phía phát phát đi một tin 𝑎𝑖 . 30
TRƯỜNG TIN KHÁC
Trường hợp 3
Trường hợp cả phía phát và phía thu là những tập tin
𝐴 = {𝑎𝑖 , 𝑖 = 1 ÷ 𝑠} , 𝐵 = {𝑏𝑗 , 𝑗 = 1 ÷ 𝑡}
❖ Entropie có điều kiện về trường tin A khi đã rõ trường tin B: H(A/B)
a1 b1
a2 b2
ai bj
(
H A bj )
as bt
31
TRƯỜNG TIN KHÁC
Lượng thông tin tổn hao trung bình của mỗi tin ở đầu phát khi phía thu
chỉ thu được thông tin bj là H(A/bj).
Khi bj là một đại lượng ngẫu nhiên thì H(A/bj) cũng là một đại lượng
ngẫu nhiên. Do đó:
H ( A / B ) = M H ( A / b j )
 s 
=  P ( b j )  − P ( ai b j ) log 2 P ( ai b j ) 
t
j =1  i =1 
= − P ( b j ) P ( ai b j ) log 2 P ( ai b j )
t s
j =1 i =1
s t
= − p (ai b j )log 2 p (ai / b j ) (2.14)
i =1 j =1
➢Ý nghĩa: H(A/B) đặc trưng cho lượng thông tin tổn hao trung
bình của mỗi tin ở phía phát khi nhận được một tin nào đó ở phía thu.
32
TRƯỜNG TIN KHÁC
❖ Entropie có điều kiện về trường tin B khi đã rõ trường tin A: H(B/A)
a1 b1
a2 b2
H ( B ai )
ai bj
Tương tự trên ta có: as bt

s t
H ( B / A) = M H ( B ai ) = −  p (aib j )log 2 p (b j / ai ) (2.15)
i =1 j =1
➢ Ý nghĩa: H(B/A) là lượng thông tin riêng trung bình của mỗi tin
ở phía thu khi phía phát đã phát đi một tin nào đó
33
TRƯỜNG TIN KHÁC
Tổng quát, ta có các trường hợp cụ thể như sau:

s
( ) ( ) (
H A / b j = − p ai / b j log 2 p ai / b j )
i =1
t
( ) (
H ( B / ai ) = −  p b j / ai log 2 p b j / ai )
j =1
s t
( ) (
H ( A / B ) = −  p aib j log 2 p ai / b j )
i =1 j =1
s t
( ) (
H ( B / A ) = −  p aib j log 2 p b j / ai )
i =1 j =1
34
2.3.2 MỘT SỐ THUỘC TÍNH CỦA ENTROPIE CÓ ĐIỀU KIỆN
❖Thuộc tính 1: Nếu A và B là hai trường tin bất kỳ, entropie của trường tin
đồng thời
H ( AB ) = H ( A) + H ( B / A) = H ( B ) + H ( A / B ) (2.16)
❖Thuộc tính 2: Entropie có điều kiện là một đại lượng giới nội
0  H ( A / B )  H ( A) (2.17)
❖Thuộc tính 3: Entropie đồng thời không lớn hơn tổng Entropie của các
trường sự kiện cơ bản
H ( AB)  H ( A) + H ( B ) (2.18)
35
2.3.3 HAI TRẠNG THÁI ĐẶC BIỆT CỦA KÊNH TRUYỀN
Trường hợp 1
Kênh không nhiễu (tin nhận trung thực với tin gửi)
t = s; i = 1, s
• i = j → ai = b j
P ( ai ) = P ( b j ) ; P ( ai b j ) = P ( b j ai ) = 1
• i  j → ai  b j
P ( ai )  P ( b j ) ; P ( ai b j ) = P ( b j ai ) = 0
 H ( A b j ) = 0 H ( B a j ) = 0

 H ( A B ) = 0 H ( B A ) = 0 36
2.3.3 HAI TRẠNG THÁI ĐẶC BIỆT CỦA KÊNH TRUYỀN
Trường hợp 2
Nhiễu trầm trọng - Kênh bị đứt (tin thu được hoàn toàn độc lập
với tin gửi):
p (ai / b j ) = p (ai ); p (b j / ai ) = p (b j )
→ p (ai b j ) = p (ai ) p (b j )
H ( A / b j ) = H ( A)
 H ( B / ai ) = H ( B)
H ( A / B = H ( A)
H ( B / A) = H ( B )

2.3.4 ENTROPIE HAI CHIỀU VÀ NHIỀU CHIỀU CỦA NGUỒN RỜI RẠC
Trong nhiều trường hợp các tin của trường tin B cũng là
các tin của trường tin A, khi này 𝑝(𝑎𝑖 /𝑏𝑗 ) là xác xuất có
điều kiện để xuất hiện tin 𝑎𝑖 khi đã rõ tin 𝑏𝑖 . Biểu thức (2.14)
trở thành:
s s
H ( A / A) = −  p (ai a j )log 2 p (ai / a j ) = H 2 ( A) (2.19)
i =1 j =1
- Entropie hai chiều của nguồn rời rạc: Đặc trưng

H 2 ( A)
cho lượng thông tin (độ bất định) trung bình của
nguồn khi kể đến sự phụ thuộc giũa một bộ gồm
có hai tin.
2.3.4 ENTROPIE HAI CHIỀU VÀ NHIỀU CHIỀU CỦA NGUỒN RỜI RẠC
Khi kể đến sự phụ thuộc của một bộ gồm có n tin, ta có:
H n ( A) = H ( A / A... A)
(2.20)
nA
s s s
= − ... p (ai a j ...ak )log 2 p (ai / a j ...ak )
i =1 j =1 k =1
H n ( A) : Gọi là Entropie n chiều của nguồn rời rạc

Một vài giá trị của H n ( A)
H2(ViÖt ng÷) = 3,22 bit
H2(Nga ng÷) = 3,52 bit
H2(Anh ng÷) = 3,32 bit
39
2.4 LƯỢNG THÔNG TIN TƯƠNG HỖ
MÔ HÌNH KÊNH TRUYỀN TIN
2.4.1 Lượng thông tin tương hỗ
2.4.2 Mô hình kênh truyền tin
40
❖Lượng thông tin tương hỗ giữa hai tin ai , b j được xác định:
p (ai ) p (ai / b j )
I (aib j ) = − log 2 = log 2
p (ai / b j ) p (ai )
❖Mở rộng biểu thức tính lượng thông tin tương hỗ cho hai tập
tin A và B, trong đó:
  
A = ai , p(ai ); i = 1  s , B = b j , p(b j ); j = 1  t 
I ( AB) = M I (aib j ) =   p (aib j )I ( aib j )
s t
i =1 j =1

2.4.2 MÔ HÌNH KÊNH TRUYỀN TIN
❖ Trường hợp các trường tin A và B là độc lập thống kê
𝐴∩𝐵 =∅
𝐻 𝐴 Τ𝐵 = 𝐻 𝐴
→ 𝐼 𝐴𝐵 = 0
42
❖Trường hợp các tin A và B là phụ thuộc thống kê
H ( A / B)
I ( A / B) H ( B / A)
Lượng thông
Lượng thông tin Lượng thông
tin tổn hao
truyền qua kênh tin hồi phục
I ( AB ) = H ( A) − H ( A / B )
= H ( B ) − H ( B / A)
43
❖ Mô hình kênh truyền tin
H(A) I(AB) = I(BA) H(B)
H(A/B) H(B/A)
Lượng thông tin tổn hao Lượng thông tin do sửa sai
44
2.5 CÁC THAM SỐ ĐẶC TRƯNG CỦA NGUỒN VÀ
KÊNH RỜI RẠC
2.5.1 Các tham số đặc trưng của nguồn rời rạc
2.5.2 Các tham số đặc trưng của kênh rời rạc
2.5.3 Lượng thông tin truyền qua kênh rời rạc
2.5.4 Khả năng thông qua (thông lượng) của kênh rời rạc

2.5.1 CÁC THAM SỐ ĐẶC TRƯNG CỦA NGUỒN RỜI RẠC
❖Tốc độ phát tin của nguồn rời rạc

Giả sử nguồn phát ra những xung có độ rộng 𝑇𝑛
Tốc độ phát tin của nguồn được định nghĩa theo biểu thức
1 𝑠ố 𝑥𝑢𝑛𝑔,𝑠ố 𝑑ấ𝑢 ℎ𝑖ệ𝑢

𝑉𝑛 = (2.22)
𝑇𝑛 1 đơ𝑛 𝑣ị 𝑡ℎờ𝑖 𝑔𝑖𝑎𝑛
46
Tốc độ phát tin của nguồn rời rạc được tính bằng [Baud].
Baud là số dấu hiệu mà nguồn phát ra trong một đơn vị thời gian
Ví dụ: Điện báo tay - Vn = 25 baud
Điện báo truyền chữ - Vn = 50 ÷ 300 baud
Điện báo truyền số liệu - Vn = 500 ÷ n.104 baud
47
❖Khả năng phát tin của nguồn rời rạc

Được định nghĩa theo biểu thức sau:
H ( A) = Vn .H ( A)
1
= .H ( A) bit/sec, bps (2.23)
Tn
Khả năng phát tin biểu thị lượng thông tin trung bình mà nguồn
phát ra được trong một đơn vị thời gian.

❖Độ dư của nguồn rời rạc: Được định nghĩa theo biểu thức sau
H ( A) max − H ( A)
Dn = = 1−  (2.24)
H ( A) max
H ( A)
Trong đó :  = H ( A) max
gọi là hệ số nén tin
Một nguồn rời rạc gồm s tin, độ dư của nguồn:

H ( A)
Dn = 1 −
log 2 s
Độ dư của nguồn rời rạc đặc trưng cho hiệu suất của
nguồn tin (Đặc trưng cho khả năng chống nhiễu của nguồn tin)
49
Một vài giá trị của Dn
Việt ngữ: H 0 (V ) = 5,1713 bit , H1 (V ) = 4,5167 bit

H1 ( A)
1 = = 87 o o → D1 = 13 o o
H 0 ( A)
H 2 (V ) = 3, 2223 bit. 2 = 62 o o , D2 = 38 o o
Nga ngữ: 1 = 87 o o → D1 = 13 o o
3 = 60 o o → D3 = 40 o o
Anh ngữ:
1 = 84 o o → D3 = 16 o o
8 = 38 o o → D8 = 62 o o
Ví dụ: Tính độ dư Dn của nguồn rời rạc sau

A a1 a2 a3 a4
P(ai) 1/2 1/4 1/8 1/8

2.5.2 CÁC THAM SỐ ĐẶC TRƯNG CỦA KÊNH RỜI RẠC
❖ Một kênh rời rạc được đặc trưng bởi ba tham số cơ bản:
+ Trường dấu lối vào và trường dấu lối ra kênh

A = ai , p (ai ); i = 1  s 
B = b j , p (b j ); j = 1  t
+ Các xác suất chuyển
p (b j / ai )  i = 1  s, j = 1  t
+ Tốc độ truyền tin qua kênh Vk
52
❖Một số định nghĩa về kênh rời rạc
+ Kênh đồng nhất:
Nếu một kênh có xác suất chuyển không phụ thuộc vào
thời gian, ta có kênh đồng nhất.
+ Kênh không đồng nhất:
Nếu một kênh có xác suất chuyển phụ thuộc vào thời gian, ta
có kênh không đồng nhất.

53
+ Kênh không nhớ:
Nếu một kênh có xác suất chuyển không phụ thuộc
vào dấu đã phát trước đó, ta có kênh không nhớ.
+ Kênh có nhớ:
Nếu một kênh có xác suất chuyển phụ thuộc vào dấu
đã phát trước đó, ta có kênh có nhớ.
54
+ Kênh đối xứng

Nếu một kênh có xác suất chuyển thỏa mãn:
 pd = const i = j
p (b j / ai ) = 
 ps = const i  j (2.25)
Ta có kênh đối xứng.

p
Ví dụ: Một kênh nhị a1 > ® b1
phân đối xứng, có
ps
nhiễu. Mô hình và
xác suất chuyển a2 > b2
được cho như sau:
p®

2.5.3 LƯỢNG THÔNG TIN TRUYỀN QUA KÊNH RỜI RẠC
❖Lượng thông tin truyền qua kênh rời rạc trong một
đơn vị thời gian được định nghĩa theo biểu thức sau:

I ( AB ) =
I ( AB )
= Vk .I ( AB ) (2.26)
Tk
Trong đó : Tk - Thời gian truyền một dấu qua kênh
Vk - Tốc độ truyền tin qua kênh
Thông thường thì: Tk = Tn = 1/ Vn = 1/ Vk
Trường hợp: Tk  Tn - Ta có kênh nén tin
Tk  Tn - Ta có kênh giãn tin
56
2.5.4 THÔNG LƯỢNG KÊNH RỜI RẠC
Định nghĩa
Thông lượng (Khả năng cho thông qua) của kênh rời rạc là giá
trị cực đại của lượng thông tin trung bình truyền qua kênh rời
rạc trong một đơn vị thời gian, lấy theo mọi phân bố xác suất
có thể có của nguồn tin.
C  = max I ( AB ) = Vk .max I ( AB)

A, B A, B (2.27)
Đặt C = max I ( AB) - Khả năng thông qua của kênh đối với một
A, B
dấu (một ký hiệu)
Ta có: C ' =Vk .C
Thuộc tính
+C  0
+C   Vk .log s
Ví dụ
Một kênh nhị phân đối xứng, có nhiễu. Mô hình và các xác xuất
chuyển được cho như sau:
Tính khả năng thông qua của kênh?
58
❖ Định lý mã hóa thứ 2 của Shannon
Nếu khả năng phát của nguồn rời rạc nhỏ hơn khả năng thông
qua của kênh [H ( A)  C ] . Ta luôn có thể tìm được một cách mã
hóa và giải mã để truyền tất cả các tin của nguồn với tốc độ rất
gần với khả năng thông qua của kênh.
Nếu khả năng phát của nguồn rời rạc lớn hơn khả năng thông
qua của kênh [H ( A)  C ] . Thì không tồn tại phép mã hóa như
vậy.
59
2.6 TRUYỀN TIN TỪ NGUỒN LIÊN TỤC
2.6.1 Tin, tín hiệu liên tục
2.6.2 Entropie của nguồn liên tục
2.6.3 Các tham số đặc trưng của kênh liên tục
2.6.4 Lượng thông tin truyền qua kênh liên tục không nhớ
2.6.5 Thông lượng của kênh Gausse

2.6.1 TIN, TÍN HIỆU LIÊN TỤC
Tùy theo vấn đề cần nghiên cứu mà trong cùng một hệ thống truyền
tin, ta có thể xét tới các kênh khác nhau (rời rạc hoặc liên tục).
Ví dụ:
61
Giải
Điều
chế
Đường truyền tin điều
chế
Kªnh liªn tôc
Kªnh rêi r¹c chøa kªnh liªn tôc
Với kênh liên tục nếu ta biết trước phương pháp điều chế và giải điều
chế, xem lối vào của bộ điều chế là lối vào của kênh, lối ra của bộ điều
chế là lối ra của kênh. Ta có kênh rời rời rạc chứa kênh liên tục.
Để không mất mát thông tin

𝑪′𝒍𝒊ê𝒏 𝒕ụ𝒄 ≥ 𝑪′𝑹ờ𝒊 𝒓ạ𝒄 𝒄𝒉ứ𝒂 𝒌ê𝒏𝒉 𝑳𝑻
Phân loại tín hiệu liên tục
Tín hiệu cao tần s(t) là hàm của thời gian, giá trị của s(t) biến thiên liên
tục trong khoảng (smin ÷ smax). Nhưng đối số thời gian lại có thể liên tục
hoặc rời rạc.
Có hai loại tín hiệu liên tục:
+ Tín hiệu liên tục với đối số thời gian liên tục
+ Tín hiệu liên tục với đối số thời gian rời rạc

2.6.2 ENTROPIE CỦA NGUỒN LIÊN TỤC
❖ Xét nguồn liên tục s(t) mà các giá trị của nó nằm trong
khoảng (smin ÷ smax)
❖ Để xác định Entropie của nguồn liên tục:
- Thực hiện chuyển nguồn liên tục thành
nguồn rời rạc.
- Tính Entropie của nguồn rời rạc.
- Chuyển nguồn rời rạc thành nguồn liên tục.

Chuyển nguồn liên tục thành nguồn rời rạc

Chia toàn bộ khoảng ( smin − smax ) thành n phần bằng nhau, mỗi phần
có độ lớn s . Giả thiết s(t) nhận giá trị si nếu s (t )  si , Với phân
bố xác suất 𝑝 𝑠𝑖 = 𝑤1 (𝑠𝑖 ). ∆𝑠.

Chuyển nguồn liên tục thành nguồn rời rạc

Như vậy, ta đã thực hiện chuyển nguồn liên tục S
thành nguồn rời rạc 𝑆 ′ :
𝑆 = 𝑠 𝑡 , 𝑤1 (𝑠) ↔ 𝑆 ′ = 𝑠𝑖 , 𝑝 𝑠𝑖 , 𝑖 = 1 ÷ 𝑛

 n 
= = −  2 1 i  
s →0 
Entropie của nguồn rời rạc H ( S ) lim H ( S ') lim W (
1 is )log W ( s ) s
s →0  i =1 
Entropie của tập các giá trị rời rạc theo định nghĩa  1 n 
+ lim  log 2  W1 ( si ).s 
n s →0
 s i =1 
H ( S ) =  p ( si ) log 2 p ( si )
1

 1   
i =1 H ( S ) =  W1 ( s)log 2 ds +  lim    W1 ( s)ds 
s →0 s
Để tính Entropie của nguồn liên tục ta có thể viết: −
W1 ( s )    − 
=1
n
H ( S ) = − w( s ).s log 2 [w( s ).s ]
i =1
n n
1 1
H ( S ) =  w( s ). s +  w( s ).s log 2
i =1 log 2 w( s ) i =1 s
Chuyển nguồn rời rạc thành nguồn liên tục:

1 1
H ( S ) = lim H ( S ) =  W ( s ) log 2 ds + lim log 2
s →0
−
W (s) s →0 s
67
Nhận xét
- Số hạng thứ 2 trong biểu thức không phụ thuộc vào tính thống kê
của nguồn. Nó chỉ phản ánh độ chính xác của việc thu nhận tin
tức. Nếu ∆𝑠 càng nhỏ thì sai số khi thu lại tin càng nhỏ.
- Số hạng thứ nhất phản ánh bản chất thống kê của nguồn tin. Để
đặc trưng cho tính chất thống kê của nguồn hoặc để so sánh
chúng, người ta lấy số hạng thứ nhất làm Entropie của nguồn liên
tục. 
1
h( S ) =  W (s)log 2
−
W (s)
ds
h( S ) - Entropie vi phân của nguồn liên tục

68
❖ Thuộc tính
+ Entropie của nguồn liên tục có thể âm, dương nhưng các giá trị này là
hữu hạn.
+ Entropie của nguồn liên tục mang tính chất cộng như entropie của
nguồn rời rạc nhưng không cụ thể như entropie của nguồn rời rạc. Nói
cách khác nó chỉ được dùng để so sánh giữa các nguồn với nhau.
+ Entropie của nguồn liên tục phụ thuộc vào thang tỷ lệ
1
Nghĩa là nếu: s = a.s → W ( s) = W ( s )
a
 h( S ) = h( S ) + log a
69
2.6.3 CÁC THAM SỐ ĐẶC TRƯNG CỦA KÊNH LIÊN TỤC
❖ Kênh liên tục được coi là đã xác định nếu biết trước:
+ Trường dấu lối vào, ra và mật độ phần bố xác suất
S = {s(t), W(s)}, U = {u(t), W(u)}
+ Mật độ phần bố đồng thời của hai biến ngẫu nhiên
W2(su) hoặc W(u/s)
70
n(t)
❖Kênh liên tục đơn giản s(t) u(t)

Kênh liên tục
Phương trình mô tả kênh liên tục đơn giản:
u(t) = .s(t) + n(t) (2.29)
 - Hệ số truyền đạt của kênh
n(t) – Nhiễu cộng

- Nếu biết mật độ phân bố xác suất của nhiễu cộng, ta sẽ tính được
mật độ phân bố xác suất có điều kiện của tín hiệu lối ra kênh
W(u/s)
- Nếu tín hiệu lối ra kênh được xác định bởi (2.29), n(t) có phân bố
Gausse, kênh liên tục tương ứng với nó gọi là kênh Gausse.
▪ Nếu 𝜇 = 𝑐𝑜𝑛𝑠𝑡, các tham số của nhiễu cộng không thay đổi theo
thời gian, kênh tương ứng là kênh Gausse không đổi ( kênh rời rạc
không nhớ).
▪ Nếu 𝜇 và các tham số của nhiễu cộng không thay đổi theo thời
gian, kênh tương ứng là kênh Gausse thay đổi ( kênh có suy lạc).
72
2.6.4 LƯỢNG THÔNG TIN TRUYỀN QUA KÊNH LIÊN TỤC
KHÔNG NHỚ
❖ Xét kênh liên tục là kênh Gausse không đổi
S U
s(t ),W ( s ) u (t ),W (u )
Phương trình tín hiệu lối ra kênh
u (t ) =  .s (t ) + n(t )
Trong đó, μ = const, các tham số của nhiễu cộng không
thay đổi theo thời gian.
73
KHÔNG NHỚ
❖Rời rạc hóa các nguồn liên tục S, U

S → S  = si p ( si ), i = 1, n 
U → U  = u j p (u ), j = 1, m
j
Với điều kiện:
p ( si ) = W ( s ) s, p (u j ) = W (u ) u
p ( si u j ) = W ( su ) su (2.30)
74
KHÔNG NHỚ
❖Lượng thông tin trung bình truyền qua kênh rời rạc:
n m p ( si / u j )
I ( S U ) =  p ( si u j )log 2
i =1 j =1 p ( si )
n m w( si / u j )
=  w( si u j ) log 2 su
i =1 j =1 w( si ).w(u j )
❖Lượng thông tin truyền qua kênh liên tục không nhớ
 
W2 ( su )
I ( SU ) = lim I ( S U ) =
s →0   W2 (su ) log
− −
W ( s )W (u )
dsdu
u →0
 W2 ( su )  (2.31)
= M log 
 W ( s )W (u ) 
75
KHÔNG NHỚ
Ta có:
 1   W2 ( su ) 
I ( SU ) = M log  + M log 
 W ( s )   W (u ) 
  
1 W ( su )
=  W ( s ) log ds +   W2 ( su ) log 2 dsdu
−
W (s) − −
W (u )
I ( SU ) = h( S ) − h( S / U ) (2.32)
Trong đó:
 
W2 ( su )
h( S / U ) =   W2 (su ) log
− −
W (u )
dsdu
 
1
=   W2 (su ) log
− −
W (s / u)
dsdu
h( S / U ) - Entropie vi phân của nguồn tin S khi biết nguồn tin U

76
KHÔNG NHỚ
Nhận xét
▪ Về mặt hình thức:
Lượng thông tin truyền qua kênh liên tục được xác định như
lượng thông tin truyền qua kênh rời rac.
I ( AB) = H ( A) − H ( A / B )
Lượng thông tin truyền qua kênh Gausse không đổi được xác
định bằng Entropie vi phân của nguồn trừ đi entropie vi phân
có điều kiện.
I ( SU ) = h( S ) − h( S / U ) = h(U ) − h(U / S )
▪ I ( SU ) Thỏa mãn điều kiện I ( SU )  0

I ( SU ) = 0 Nhiễu trầm trọng
 Kênh không nhiễu
77
2.6.5 THÔNG LƯỢNG CỦA KÊNH GAUSSE
Thông lượng kênh Gausse với đối số thời gian rời rạc
▪ Định nghĩa
Kênh Gausse không đổi với đối số thời gian rời rạc là kênh
Gausse không đổi có tín hiệu lối vào s(t) là hàm liên tục của
biến thời gian rời rạc.
Ta có thể coi tín s (t )
hiệu s(t) là một smax
chuỗi xung có độ
rộng ∆𝑡, chu kỳ
∆𝑡 , có biên độ
thay đổi trong smin
khoảng: o t
smin  smax t
78
▪ Khả năng thông qua của kênh
Theo định nghĩa:
C  = Vk max I ( SU )
S ,U
Trong đó 1 1
Vk = =
Tk t
Từ những quan điểm của kênh nêu trên ta có:

C  = Vk max h(U ) − log 2 2 epn
U


= Vk max h(U ) − log 2 2 epn
U

79
▪ Khả năng thông qua của kênh
Dễ dàng thấy rằng
C
max[h(U )] = log 2 2 epu
1  p s 
 C  = Vk log 2 1 +  (2.33)
2  pn  p s
0 4 8 pn
12
80
Thông lượng kênh Gausse với đối số thời gian liên tục trong
một dải tần hạn chế
Xét tín hiệu (nguồn) s(t) là tín hiệu liên tục với đối số thời
gian liên tục, có tần số cao nhất trong phổ của tín hiệu là F.
Dùng họ hàm trực giao:
sin 2 F (t − k t )
U k (t ) =
2 F (t − k t )
F: Tần số cao nhất trong phổ tín hiệu
Ta có thể biểu diễn s(t) dưới dạng là tổ hợp tuyến tính của
các hàm sơ cấp đơn giản:

s (t ) =  ckU k (t )
k =0
81
Thông lượng kênh Gausse với đối số thời gian liên tục trong
một dải tần hạn chế
ck - là hệ số của phép khai triển được xác định:


ck =  s (t )U k (t )dt = s (k t ) = s (k )
−
1
Nếu thỏa mãn t 
2F
Trong đó sk là các giá trị mẫu của tín hiệu s(t). Nghĩa là ta có
thể biểu diễn tín hiệu thông qua các giá trị mẫu của nó:
 sin 2 F (t − k t )
s (t ) =  s (k ).
k =− 2 F (t − k t )
82
Thông lượng kênh Gausse với đối số thời gian liên tục trong một
dải tần hạn chế
Như vậy, nguồn (tín hiệu) S gồm vô hạn các thể hiện s(t) được
thay thế bởi nguồn S ' gồm vô vàn các thể hiện với đối số thời
gian rời rạc sk
83
Thông lượng kênh Gausse với đối số thời gian liên tục trongmột
dải tần hạn chế
▪ Khả năng cho thông qua của kênh
1  p s 
C ' = Vk log 1 + 
2  pn 
Trong đó 1 1 1
Vk = = , t =
Tk t 2F
Vậy
 p s  p s
C ' = F log 2 1 +  = F log 2 (1 + )
 pn  F .N 0
N 0 - Mật độ phổ công suất của nhiễu (tạp âm trắng, chuẩn)
84
Thông lượng kênh Gausse với đối số thời gian liên tục trong một dải
tần hạn chế
▪ Nhận xét
• Có thể thu chính xác được tín hiệu (Giữ được khả năng thông qua
của kênh) bằng cách mở rộng dải tần của tín hiệu. Bằng cách mở
rộng dải tần của tín hiệu, ta có thể thu chính xác tín hiệu ngay cả
khi tín hiệu chìm trong tạp âm.
• Công thức trên được được gọi là công thức Shannon. Nó chỉ áp
dụng được với kênh Gausse (kênh có tham số không đổi, chịu tác
động của nhiễu trắng chuẩn). Nếu mật độ phân bố xác suất của
nhiễu khác lệch chuẩn hoặc phổ của nhiễu trong dải thông của
kênh không đều, hoặc ngoài nhiễu cộng còn có nhiễu nhân thì
công thức trên không áp dụng được.
85
dải tần vô hạn
Khả năng cho thông qua của kênh Gausse với đối số thời gian
liên tục như trình bày ở trên:
p s
C ' = F log 2 (1 + )
F .N 0
Khi F=0
 p s 
C0 = lim C ' = lim F .log 2 1 + 
F →0 F →0
 F . N o 
 p s 
log 1 + 
= lim  F . N o 
=0
F →0 1
F 86
Khi F = 
F
 p s 
C = lim C ' = lim F .log 2 1 + 
F → F →
 F . N o 
Đặt p s p s
= →F=
F .N 0  N0
p s
p s 1+ 
C = lim log 2 (1 +  ) F . No
= lim log 2 ( )
 →0 No  →0 
p s p s
= log 2 e = 1, 443
No No
87
▪ Nhận xét
• Khả năng thông qua của kênh Gausse với đối số thời gian liên
p
tục bị chặn trên bởi giá trị 1, s
443
N
0
Nói cách khác
p s
0  C '  1, 443.
N0
88
Thông lượng kênh Gausse với đối số thời gian liên tục trong một dải
tần vô hạn
▪ Nhận xét
• Việc tăng quá mức dải tần (bề rộng phổ) của tín hiệu hoặc dải thông
của kênh là không cần thiết vì sự tăng thông lượng của kênh tới một
giá trị nào đó là rất chậm.
• Trong mọi trường hợp, tạp âm nhiệt luôn tồn tại trong mọi hệ vật
chất. Vì vậy, nó cũng tồn tại trong bất cứ kênh liên lạc nào khác.
Mật độ phổ của tạp âm nhiệt: N 0 = k .T
Trong đó k là hằng số Boltzman
T là nhiệt độ Kelvin
89
Tóm lại
▪ Khả năng phát tin của nguồn liên tục có thể là vô hạn, nhưng
khả năng cho thông qua của kênh là hữu hạn.
▪ Nghĩa là không thể thu chính xác được tín hiệu mà bao giờ
cũng có sự mất mát thông tin.
90
BÀI TẬP
1. Có ba hộp đựng bút chì màu: Hộp A gồm 9 bút màu xanh, 9 bút màu
đỏ, 12 bút màu vàng. Hộp B gồm 9 bút màu xanh, 10 bút màu đỏ, 11 bút
màu vàng. Hộp C gồm 11 bút màu xanh, 12 bít màu đỏ, 7 bút màu vàng.
Rút ngẫu nhiên từ mỗi hộp ra một chiếc bút, hỏi phép rút nào có độ bất
định lớn nhất.
2. Có 81 đồng tiền xu cùng mệnh giá, trong đó có một đồng xu giả (có
trọng lượng lớn hơn). Để xác định đồng tiền giả ta sử dụng một chiếc cân
bàn. Tính số lần cân trung bình tối thiểu để tìm ra đồng tiền giả, chỉ ra
thuật toán cân.
BÀI TẬP
3. Một hộp đựng linh kiện điên tử gồm các IC cùng loại (các IC tương
đương) trong đó: 10% là của Nhật bản, 50% là của Mỹ, 40% là của Trung
quốc. Biết tỷ lệ IC hỏng của Trung quốc là 2%, Nhật bản là 3%, Mỹ là 1%.
Lấy ngẫu nhiên 1 IC để lắp mạch.
a) Tìm lượng thông tin chứa trong biến cố lấy phải một IC hỏng.
b) Tìm lượng thông tin chứa trong biến cố khi lấy phải IC hỏng là của Mỹ.
92
BÀI TẬP
4. Một thiết bị vô tuyến điện có 8 thiết bị có độ tin cậy như nhau và được
mắc nối tiếp với nhau. Để tìm ra sự hỏng hóc của mỗi khối, người ta dung
thiết bị đo và kiểm tra tín hiệu ở đầu ra của mỗi khối.
a) Tính số lần đo trung bình tối thiểu để tìm ra một khối hỏng.
b) Trình bày thuật toán đo.
93
BÀI TẬP
5. Một kênh rời rạc đối xứng nhị phân có nhiễu, đồng nhất, không nhớ. Với giả
thiết, p(a1 ) = 2 /13 . Do có nhiễu nên xác suất thu đúng mỗi tin chỉ còn 10/11.
Hãy tính: a1 b1
a) Lượng thông tin tương hỗ I (a1b1 ), I (a2b2 )
b) Tìm lượng thông tin tổn hao H(A/B). a2 b2
c) Tính lượng thông tin truyền qua kênh truyền I(AB)
d) Tính lượng thông tin H ( A / b j )

BÀI TẬP
6. Mô hình kênh truyền tin nhị phân đối xứng, đồng nhất, có nhiễu có
xóa, được cho như sau:
Cho biết: p (a1 ) = 2 / 5 , do có nhiễu nên xác suất thu đúng còn 12/13,
p (b3 / a1 ) = p (b3 / a2 ) = 1/125
a) Tính lượng thông tin tương hỗ I (a1b1 ), I (a2b2 )
b) Tính lượng thông tin tổn hao H(A/B)
c) Tính thông lượng kênh rời rạc biết tốc độ truyền tin qua kênh là Vk
95
BÀI TẬP
7. CMR trong số các đại lượng ngẫu nhiên liên tục có kỳ vọng bằng 0,
phương sai đã biết. Đại lượng ngẫu nhiên có phân bố chuẩn (Phân
bố Gausse): s2
−
1
W( s ) = e 2 2
2 2
Cho Entropie vi phân cực đại và giá trị cực đại đó bằng:
h( s )  log 2 2 e 2
96
BÀI TẬP
8. CMR trong số các đại lượng ngẫu nhiên liên tục có kỳ vọng
cho trước, mật độ phân bố xác suất triệt tiêu với s  0 . Đại
lượng ngẫu nhiên có phân bố xác suất theo luật hàm mũ:
w( s ) = .e −  .s
e
Cho Entropie vi phân cực đại và giá trị đó là: h( s )  log 2

97
BÀI TẬP
9. CMR ta có thể biểu diễn (khôi phục lại) tín hiệu thông qua
s
các giá trị mẫu: k của tín hiệu rời rạc.
 sin 2 F (t − k t )
s (t ) =  s (k ).
k =−  F (t − k t )
1
Nếu tần số lấy mẫu Ts thỏa mãn: Ts = t =
2F
F là tần số cao nhất trong phổ tín hiệu
98
BÀI TẬP
10. Hãy so sánh khả năng thông qua của hai kênh thông tin nếu
kênh thứ nhất chịu một tác động của một tạp âm trắng, chuẩn
trong giải tần F với phương sai 2 = 1V 2 , còn kênh thứ hai chịu
tác động của một tạp âm trắng, phân bố đều trong khoảng
±1,5 với giải tần 2F. Coi rằng công suất của tín hiệu rất lớn
hơn công suất của tạp âm.
99
1
- Hiểu được điều kiện thiết lập mã, các phương pháp
biểu diễn mã.
- Hiểu và vận dụng được nguyên tắc tạo mã và giải

mã Huffman, mã Cyclic.
- Vận dụng làm một số bài tập.
2
NỘI DUNG
3
3.1 NHỮNG VẤN ĐỀ CHUNG
NHỮNG KHÁI NIỆM CƠ BẢN
3.1.1 Mã hóa, mã hiệu
3.1.2 Độ dư của bộ mã
3.1.3 Phân loại mã
3.1.4 Biểu diễn mã
3.1.5 Khoảng cách mã

3.1.1 MÃ HÓA, MÃ HIỆU
❖ Mã hóa
Ví dụ
Xét một nguồn tin A = {a, b, c, d}.
Thực hiện ánh xạ A vào tập các chuỗi {0, 1} theo quy tắc:
a → 00 c → 10
b → 01 d → 11
Để truyền bản tin baba, phía phát sẽ phát đi chuỗi 01000100.
Phía thu nhận được chuỗi bít này phải xác định được bản tin
bên phát đã phát đi là baba.
5
❖ Mã hóa
Định nghĩa:
Mã hóa là phép biểu diễn (biến đổi, thay thế) s tin khác nhau
của một nguồn rời rạc nào đó trong một bộ các ký hiệu xác định nào
đó, chứa m ký hiệu (dấu hiệu) khác nhau. Nhằm mục đích tận dụng
khả năng cho thông qua của kênh, cũng như thỏa mãn những tiêu chí
nhất định của hệ thống truyền tin.
- m: Cơ số của bộ mã
6
❖ Mã hóa
m ≥ s: Mỗi tin của nguồn được thay thế bởi một ký hiệu thuộc bộ ký hiệu
7
❖ Mã hóa
m < s: Mỗi tin của nguồn sẽ được đặt tương ứng với một dãy (tổ hợp)
gồm n ký hiệu của bộ ký hiệu. Dãy này được gọi là từ mã.
Ví dụ
m = 2: s1 → 00
s = 4 : s1 , s2 , s3 , s4 s2 → 01
s3 → 11
s4 → 10
8
❖ Mã hiệu
Mã (bộ mã) là sản phẩm của phép mã hóa, là tập các từ mã
được lập ra theo một luật đã được định trước.
Ký hiệu  - Tổ hợp mã (từ mã) thứ i có ni dấu mã (độ dài ni )
ni
i
dùng để mã hóa cho tin ai của một nguồn rời rạc nào đó.
Tập các từ mã này tạo ra bộ mã:
 
V =  ,i = 1 s
i
ni

❖ Mã hiệu
- Độ dài từ mã 𝑛𝑖 : Số dấu mã trong từ mã dùng để mã hóa cho tin 𝑎𝑖
của nguồn.
Bộ mã đều: Các từ mã có độ dài bằng nhau (𝑛𝑖 =3).
V = {001, 100, 101, 010}
Ngược lại ta có bộ mã không đều (n1 = n2 = 1, n3 = 2, n4 = 3)
Sử dụng bộ mã đều
U = {0, 1, 01, 101} cơ số m=2, độ dài n = 3.
- Tổng số từ mã của bộ mã Tính số từ mã có thể có
của bộ mã?
Nếu từ mã cơ số m độ dài n, số từ mã có thể có của bộ mã: mn
10
❖ Điều kiện thiết lập mã (yêu cầu của phép mã hóa)

Điều kiện thiết lập mã là phải giải mã được và giải một cách duy
nhất. Nghĩa là các từ mã phải thỏa mãn điều kiện không phủ nhau.
Một bộ mã như vậy được gọi là một bộ mã có tính Prepfix.
+ Prefix của một tổ hợp mã là bộ phận của tổ hợp mã đó sau khi bỏ đi
ký hiệu cuối cùng.
 in = 1011001
101100 
10110  Các Prefix
của tổ hợp
1011  𝑛
 mã 𝛼 𝑖
101 
10 


11

+ Bộ mã có tính Prefix nếu bất kỳ tổ hợp mã nào của nó cũng không
phải là Prefix của tổ hợp mã nào khác thuộc bộ mã.
Ví dụ:
Bộ mã gồm các từ mã: 1, 00, 011, 0101, 0100
➢ Đây là bộ mã có tính Prefix.
12
Ví dụ: Bộ mã gồm các từ mã được cho như sau:

a1 :10 a4 :1101
a2 : 01 a5 :10110
a3 :101 a6 :101110
Cho dãy tin: 110110111011011011010111010011101
Giải mã cho dãy tin trên.
13

Xảy ra các trường
hợp như sau:
14
Có thể nói: Mã hóa nhất thiết là phép biến đổi đơn trị hai chiều. Mã hóa là
làm tương ứng một – một giữa các tin thuộc nguồn và các tổ hợp của các
dấu mã.
15
3.1.2 ĐỘ DƯ CỦA BỘ MÃ
❑Xét với bộ mã đều:

Nguồn tin rời rạc A gồm s tin: 𝐴 = 𝑎𝑖 ; 𝑖 = 1 ÷ 𝑠
Xét phép mã hóa f như sau: 𝑓: 𝑎𝑖 → 𝛼𝑖𝑛 , 𝛼𝑖𝑛 𝜖 𝑉.
❑ Độ dư của bộ mã
𝐻(𝑉)𝑚𝑎𝑥 −𝐻(𝐴)𝑚𝑎𝑥 𝐻 𝐴 𝑚𝑎𝑥
𝐷𝑚 = =1− (3.1)
𝐻(𝑉)𝑚𝑎𝑥 𝐻 𝑉 𝑚𝑎𝑥
log 2 s
= 1−
n log 2 m
- s = m → Dm = 0 : Bộ mã không có độ dư (bộ mã đơn giản)
n
- s  m n → Dm  0 : Bộ mã có độ dư
16
3.1.2 ĐỘ DƯ CỦA BỘ MÃ
Ví dụ
Tính độ dư của bộ mã đều nhị phân có độ dài n = 3 được sử
dụng để mã hóa cho 4 tin A, B, C, D.
17
3.1.3 PHÂN LOẠI MÃ
❖Các cách phân loại mã
Mã nhị phân
Theo cơ số m
của bộ mã
Mã tam phân…
Các cách phân loại mã
Mã đều
Theo độ dài của
từ mã Mã không đều
Mã có độ dư
Theo độ dư của
bộ mã Mã đơn giản

3.1.3 PHÂN LOẠI MÃ
❖ Phân loại mã nhị phân

3.1.4 BIỂU DIỄN MÃ
❖ Bảng đối chiếu mã

- Trình bày dưới dạng bảng: Liệt kê các tin và từ mã tương
ứng
- Ưu điểm: Cho biết một cách trực quan từ mã tương ứng

dung
để mã hóa cho các tin.
- Nhược điểm: Kích thước cồng kênh.

❖ Mặt tọa độ mã
- Mỗi từ mã được mô tả bởi hai thông số là độ dài ni của từ mã và
trọng số bi của từ mã. bi
10 4
n −1
bi =  ak 2 k
k =0
k: Số thứ tự của bit 6 3

trong từ mã,ak=0 hoặc 1
Ví dụ 5
2
1
1 2
V={1, 00, 011, 0101, 0100 }
ni
0 1 2 3 4 5
❖ Hàm cấu trúc mã

Thống kê số lượng các từ mã có độ dài ni - G(ni)
Ví dụ
Với bộ mã V={1, 00, 011, 0101, 0100 }
G(ni) Được biểu diễn như sau

1 ni = 1

1 ni = 2
G ( ni ) = 
1 ni = 3
2 ni = 4
22
1
❖ Đồ hình kết cấu 0 0
- Một từ mã được biểu diễn 1
0
bằng một chu trình xuất phát 0/ 1
1
từ nút gốc và quay trở về lại 1
3
nút gốc. 2
0
- Cho biết cấu trúc của thiết bị tạo mã và giải mã
Ví dụ
Với bộ mã V={1, 00, 011, 0101, 0100 }
23
❖ Cây mã
Ví dụ
Biểu diễn các từ mã của bộ mã
V={1, 00, 011, 0101, 0100 }
24
3.1.5 KHOẢNG CÁCH MÃ
❖Khái niệm
Khoảng cách Hamming giữa hai từ mã bất lỳ của một bộ

mã đều là số những vị trí (thành phần) của chúng tính theo cùng
một thứ tự mà tại đó chúng có các dấu khác nhau.
❖ Kí hiệu
( )
d  in , nj - Khoảng cách giữa hai từ mã  in , nj
Ví dụ
 i7 = 1011000
 7j = 0101100
***7 *
(
d  , j = 4
i
7
)
25
❖ Tính chất
(
+ d  , i
n n
j)=0 i= j (3.2)
+ d ( ,  i
n n
j )  0 i  j (3.3)
+ d ( ,  i
n n
j ) = d ( , ) i, j
n
j i
n
(3.5)
+ d ( ,  i
n n
j ) + d ( , ) = d ( , ) i, j, k
n
j
n
k i
n n
k
(3.6)
+ 0  d ( i
n
, )  n i  j
n
j
(3.7)

❖ Trọng số của từ mã
Là số các dấu khác “0” trong từ mã đó.
( )
W  in - Trọng số của từ mã:  n
i
* Quãng cách mã d ( in , nj ) = W ( in   nj ) (3.8)

Ví dụ
 =1 0 1 0 0 1 1
n  in = 1 0 1 0 0 1 1
i
 =1 0 1 1 0 0 0
n   nj = 1 0 1 1 0 0 0
j
  
 kn = 0 0 0 1 0 1 1
d ( ,  ) = 3
i
n n
j
W ( kn ) = 3
27
3.2 MÃ THỐNG KÊ TỐI ƯU
3.2.1 Các giới hạn tối ưu cho độ dài trung bình của từ mã
3.2.2 Định lý Kraft
3.2.3 Định lý Shannon
3.2.4 Mã thống kê tối ưu Huffman

3.2.1 CÁC GIỚI HẠN TỐI ƯU CHO ĐỒ DÀI TRUNG BÌNH CỦA TỪ MÃ
❖ Độ dài trung bình của từ mã

Đặc trưng cho tính kinh tế của bộ mã, ta dùng khái
niệm độ dài trung bình của từ mã:
s
L =  ni p (ai ) (3.9)
i =1
ni – Độ dài của từ mã  i i dùng để mã hóa cho tin ai
n
p(ai) – Xác suất xuất hiện tin ai của nguồn
29
Nhận xét
- Để phép mã hóa không làm tổn hao tin tức, thì lượng thông tin
chứa trong từ mã không thể nhỏ hơn lượng thông tin chứa trong
tin tương ứng.
- Việc mã hóa càng có tính kinh tế khi lượng thông chứa trong mỗi
dấu mã càng lớn, lượng thông tin này đạt cực đại khi tất cả các
dấu mã xuất hiện đồng xác suất.
Ta có: I ( ini )  I ( i ) (3.10)

30
- Nếu coi tất cả các dấu mã trong từ mã là độc lập thống kê:
I ( ini )  I (ai ) → ni l o g 2 m  − l o g 2 p (ai )

log 2 p ( ai )
ni  − (3.11)
log 2 m
H ( A)
L
log 2 m
𝑛
Trong biểu thức (3.11) 𝑛𝑖 là độ dài của từ mã 𝛼𝑖 𝑖 . Do đó, 𝑛𝑖 ∈ 𝑁
31
Điều kiện (3.11) được chọn như sau:
 log 2 p ( ai ) 
ni =  −  +1
 log 2 m 
 X  - chỉ phần nguyên của X
- Nếu để ý đến tính kinh tế của bộ mã thì:
 H ( A) 
Lmax =  +1
 log 2 m 
H ( A)  H ( A) 
L  +1
log 2 m  log 2 m 
Biểu thức trên được gọi là giới hạn tối ưu cho độ dài trung
bình của từ mã (giới hạn Shannon)
32
3.2.2 ĐỊNH LÝ KRAFT
❖ Định lý Kraft
- Nếu n1 , n2 ,..., ns là độ dài các từ mã thì điều kiện cần và đủ để

các từ mã không phủ nhau với các độ dài đã cho là ni (i = 1, s ) phải
thỏa mãn bất đẳng thức sau:
s
− ni
m 1 (3.12)
i =1
m là cơ số bộ mã.
33
3.2.2 ĐỊNH LÝ KRAFT
❖ Ý nghĩa
- Định lý không khẳng định rằng một bộ mã bất kỳ gồm các từ mã

có độ dài thỏa (3.12) đều có tính không phủ nhau:
Ví dụ: Tập các từ mã nhị phân 0, 00, 11
- Định lý chỉ khẳng định rằng tồn tại tồn tại một bộ mã có tính
không phủ nhau với các độ dài như vậy. Nó không chỉ ra thuật
toán xây dựng các bộ mã có tính không phủ nhau, vì vậy nó chỉ
là một định lý tồn tại.
Ví dụ: Bộ mã có các từ mã: 0, 10, 11

34
3.2.3 ĐỊNH LÝ SHANNON
❖ Định lý Shannon
- Khi mã hóa các tin của nguồn bởi một bộ ký hiệu m dấu với điều
kiện không có tạp âm, thì độ dài trung bình của từ mã không thể
H ( A)
nhỏ hơn
log 2 m
- Nếu xác suất xuất hiện các tin của nguồn không phải là lũy thừa
nguyên âm của cơ số m, thì ta không thể đạt tới giới hạn trên.
Nhưng ta có thể tiến tới gần tùy ý giới hạn trên khi mã hóa các tin
của nguồn bằng các nhóm có độ dài đủ lớn.
35
3.2.3 ĐỊNH LÝ SHANNON
❖ Ý nghĩa
+ Định lý xác định giới hạn cho kinh tế của bộ mã.
+ Định lý không chỉ ra cụ thể phương pháp để xây dựng bộ mã tối

ưu. Nhưng ta có thể đạt được độ dài trung bình của từ mã là nhỏ
nhất. Đó là phải thực hiện sau cho các dấu mã là đồng xác suất và
độc lập thống kê.
+ Cho biết ý nghĩa của Entropie: Entropie của tập các tin có thể
xem là số dấu nhị phần tối thiểu tính trung bình cho một tin.
36
3.2.4 MÃ THỐNG KÊ TỐI ƯU HUFFMAN
❖ Phương pháp lập mã theo Huffman
+ Viết tất cả các tin theo thứ tự xác suất xuất hiện giảm dần.
+ Hai tin có xác suất nhỏ nhất được nối với nhau. Một xác suất được
gán là ‘1’ và một xác suất được gán là ‘0’. Đồng thời các xác suất này
được cộng lại kết quả được ghi lại vào khoảng giữa các xác suất gần
nó nhất.
+ Quá trình hợp nhất hai tin có xác suất nhỏ nhất này được thực
hiện cho đến khi nào tổng xác suất hai tin bằng 1.
+ Từ mã ứng với mỗi tin là các dấu nhị phân mà ta đã gán cho các
xác xuất được viết từ phải sang trái, theo đường ngược lên về bên
phải bắt đầu từ xác suất của tin tương ứng.
37
 a1 a2 a3 a4 a5 a6 
A= 1 1 1 1 1 1 
 
Minh họa Phương pháp lập mã Huffman cho nguồn rời rạc sau  2 4 8 16 32 32 
ai p(ai) Từ
Quá trình tổ hợp các tin
mã
a1 1/2 1/2 1/2 1/2 1/2 0 1 0
a2 1/4 1/4 1/4 1/4 0 1/2 1 10
a3 1/8 1/8 1/8 0 1/4 1 110

1/16 0 1/8 1 1110
a4 1/16
Mô phỏng a5 1/32 0 1/16 1 11110

Mã Huffman
a6 1/32 1 11111
38
11110 11111
3.2.4 MÃ THỐNG KÊ TỐI ƯU HUFFMAN a5 a6
1/ 1/
1110
32 ............................... 32 n=5
...............................
a4
0 1
110 1/
16
............................... 1/16 ............................... n=4
a3 1
0
10 1/8 ............................... 1/8 ............................... n=3
a2
0 1
0 1/4 ............................... 1/4
........................................................
n=2
a1
0 1
1/2 ............................... 1/2 ........................................................
n =1
1
0 n=
1 ........................................................... 0
Minh họa cây mã Huffman

39
❖Giải mã cho các mã thống kê tối ưu
Dùng đồ hình cây mã
+ Đặt con trỏ vào nút gốc của cây mã.
+ Di con trỏ theo nhánh có trị là bít nhận được. Khi con trỏ chỉ đến nút lá:
- Làm xuất hiện tin tương ứng.
- Con trỏ quay về nút gốc
+ Quá trình giải mã được tiếp tục như trên cho đến khi hết tin.
40
Ví dụ: Giải mã cho dãy bít nhận được
101100111001110001011101001101110
p p p pp pp p p p p p p
a2 a3 a4 a a4a1a1 a2 a4 a2a1 a3 a4
1
41
3.3 MỘT SỐ KHÁI LUẬN VỀ MÃ KHỐNG CHẾ SAI
3.3.1 Biểu diễn véc tơ cho các tổ hợp mã
3.3.2 Cơ chế phát hiện sai và sửa sai của bộ mã

3.3.3 Mối liên hệ giữa khoảng cách cực tiểu và
khả năng sửa sai của bộ mã
3.3.4 Xây dựng các mã có khả năng sửa sai
cho trước.

3.3.1 BIỂU DIỄN VÉC TƠ CHO TỔ HỢP MÃ
❖ Mỗi từ mã có độ dài n được xem như một véc tơ trong không

gian véc tơ n chiều.
 = ( a0 , a1 ,...ak ,...an−1 )  ai  En
i
n
❖ Các phép toán đối với véc tơ mã:
- Tổng của các véc tơ mã: an , bn V

an + bn = ( a0  b0 ,...ak  bk ,...an−1  bn−1 ) = vn
vn V
43
- Tích của véc tơ mã với một vô hướng

an V , c = const
c.an = ( c.a0 ,...c.ak ,...c.an−1 ) = bn
bn V
Tích của một véc tơ mã với một vô hướng là một véc tơ mã
thuộc bộ mã.
c = 0 → c.an = 0
Khi
c = 1 → c.an = an
- Tích vô hướng hai véc tơ
( a .b ) = c = ( a .b  ...  a .b  ...  a
n n 0 0 j j n −1 .bn−1 )
- Tổ hợp tuyến tính của các véc tơ mã
m
bn = c1.a1 + c2 .a2 + ... + cm .am =  ci .ai
i =1

❖ Ta có thể coi véc tơ mã nhận được là tổng của véc tơ phát và

véc tơ sai (do nhiễu)
bi = ai + e (3.13)
- Véc tơ sai e đặc trưng cho nhiễu trên kênh truyền

- Trọng số của véc tơ sai W(e) gọi là bội sai
→
W( e ) = 1: Ta có sai đơn
→
W( e ) = 2 : Ta có sai kép
→
W( e ) = t : Ta có sai bội t
46
3.3.2 CƠ CHẾ PHÁT HIỆN SAI VÀ SỬA SAI CỦA BỘ MÃ
❖ Giả sử bộ mã dùng có độ dài từ mã là n
+ Số tổ hợp mã nhị phân n dấu có thể có: No = 2n
+ Số tổ hợp mã dùng: N = 2k
+ Số tổ hợp mã còn lại No – N = 2n – 2k , gọi là

số tổ hợp mã cấm

❖ Do có nhiễu tác động, một từ mã dùng có thể chuyển

thành N 0 = 2n tổ hợp mã có thể có.
Số trường hợp chuyển có thể có→

khi
→
truyền N tổ hợp mã: N.No.
Xét cả trường hợp véc tơ sai: e = 0
48
❖ Trong đó:
+ N = 2k Trường hợp chuyển đúng (không sai).
+ 2k.(2k- 1) Trường hợp chuyển thành các tổ hợp mã dùng khác
(không phát hiện được sai).
Như vậy, số trường hợp chuyển sai có thể phát hiện được:
  ( ) ( )
2k .2n −  2k + 2k 2k − 1  = 2k 2n − 2k = N ( N 0 − N )
49
❖ Tỷ số giữa số trường hợp chuyển sai có thể phát hiện được và số

trường hợp chuyển có thể có:
(
2k 2n − 2k ) = 1− 2 k
= 1−
N
(3.14)
k n n
2 .2 2 N0
Nghĩa là, không thể phát hiện được tất cả các sai→ không
thể sửa được tất cả các sai.
50
❖ Tỷ số giữa trường hợp chuyển sai có thể sửa được và số trường

hợp sai có thể phát hiện được:
N0 − N 1
=
N ( N0 − N ) N (3.15)
Tỷ số này không phụ thuộc vào phương pháp phân hoạch, tức là
không phụ thuộc vào phương pháp mã hóa và giải mã. Nghĩa là ta chỉ
có thể sửa được một số sai nào đó bởi những cách phân hoạch nào đó.
51
3.3.3 MỐI LIÊN HỆ GIỮA KHOẢNG CÁCH CỤC TIỂU
VÀ KHẢ NĂNG SỬA SAI CỦA BỘ MÃ
❖ Định nghĩa
Khoảng cách cực tiểu là khoảng cách nhỏ nhất giữa hai từ mã
bất kỳ của bộ mã
( )
d o = min d  in , nj ; i  j , i = 1  s, j = 1  s
❖ Khả năng sửa sai của bộ mã

Định lý 1: Một bộ mã đều nhị phân có thể phát hiện được tất cả các
()
trường hợp sai có bội W e   nếu thỏa mãn:
do   + 1 (3.16)
52
Định lý 2
Điều kiện cần và đủ để một bộ mã đều nhị phân có thể sửa được tất
cả các trường hợp sai có bội W e  t nếu thỏa mãn:()
d o  2t + 1 (3.17)
Định lý 3
Điều kiện cần và đủ để một bộ mã đều nhị phân có thể phát hiện được
()
tất cả các trường hợp sai có bội W e   và có thể sửa được tất cả các
()
trường hợp sai có bội W e  t , t   nếu thỏa mãn:
do  t +  + 1 (3.18)
53
54
3.3.4 XÂY DỰNG CÁC MÃ CÓ KHẢ NĂNG SỬA SAI CHO TRƯỚC
❖ Giới hạn Gilbert
Bước 1: Viết ra tất cả các THM có độ dài n có thể có 2n
Bước 2: Chọn ra một tổ hợp mã tùy ý làm từ mã dùng, sau đó loại

từ mã đã chọn và các tổ hợp mã cách từ mã đã chọn một khoảng
do -1 ra khỏi 2n tổ hợp trên.
Bước 3: Quá trình chọn từ mã được tiến hành như bước 2 cho đến
khi không còn tổ hợp mã nào. Trường hợp ngược lại, tiếp tục thực
hiện như bước 2.
55
❖ Với mỗi tổ hợp mã được chọn làm từ mã dùng, ta loại bỏ

d0 −1
được không lớn hơn  n tổ hợp mã.
C i
i =0
❖ Sau khi chọn được N từ mã dùng. Thủ tục chọn từ mã kết thúc ta có:
do −1
2n
N .  Cni  2n  N do −1 (3.19)
i =0
 n
C i
i =0
(3.19) – Giới hạn dưới của số từ mã dùng, khi cho trước độ dài từ mã
và bội sai cần sửa (Giới hạn Gilbert)
❖ Giới hạn Hamming
Bước 1: Dùng một bộ mã đều có độ dài k để mã hóa cho các tin cần mã
hóa. k được gọi là số dấu mang tin trong từ mã.
Bước 2: Thêm vào một số dấu (r dấu) không mang tin, ta có thể đảm bảo
được khả năng sửa sai đã cho của bộ mã.
a0 a1 ak-1 ak an-1
k dấu mang tin r dấu kiểm tra
57
❖ Giả thiết: Xây dựng bộ mã dùng để mã hóa cho nguồn rời rạc A với số véc
tơ sai cần sửa T: A = ai , p ( ai ) ; i = 1  s
- Số dấu mang tin cần thiết được xác định như sau:
k =  log 2 ( s − 1)  + 1 (3.20)
- Số tổ hợp sai cần sửa
N .T = 2k .T (3.21)
- Số tổ hợp mã cấm
N o − N = 2n − 2k (3.22)
58
- Điều kiện cần để bộ mã sửa được T kiểu sai: ( No − N )

( N o − N )  N .T → N o  N (1 + T ) (3.23)
- Bộ mã sửa được tất cả các sai đơn ( W e = 1 ) ()

N o  N (1 + n)  2n  2k .(1 + n)
(3.24)
- Bộ mã sửa dược các sai có bội t ( W ( e ) = t )
 t i
n  k + log 2   Cn  (3.25)
 i =0 
(3.25)- Giới hạn Hamming: Giới hạn dưới cho độ dài từ mã khi cho trước số
tin cần mã hóa và bội sai cần sửa.
3.4 Mã Cyclic
3.4.1 Biểu diễn đa thức cho các tổ hợp mã
3.4.2 Các định nghĩa về mã Cyclic
3.4.3 Thiết bị tạo mã Cyclic
3.4.4 Giải mã cho các mã Cyclic

3.4.1 BIỂU DIỄN ĐA THỨC CHO CÁC TỔ HỢP MÃ
❖ Một từ mã có thể biểu diễn dưới dạng sau
 = a0 a1...a j ...an−1
i
n
= ( a0 , a1 ,...a j ,...an−1 ) = a
= a0 x 0 + a1 x1 + ... + a j x j + ... + an−1 x n−1
n −1
(3.26)
=  ai xi = ax
i =0
(3.25)- Biểu diễn đa thức cho tổ hợp mã
ai - Là các dấu mã
x i - Vị trí các dấu mã
❖ Các phép toán đối với đa thức mã
+ Phép cộng hai đa thức mã
n −1 n −1
ax =  ai x i V , bx =  b j x j V
i =0 j =0
n −1
ax + bx V → ax + bx =  (ai  bi ) x i (3.27)
i =0
+ Phép nhân đa thức mã với một vô hướng

a ( x) V , c = const (3.28)
n −1
 c.ax =  c.ai x i V
i =0

+ Phép nhân hai đa thức mã
n −1 n −1
ax =  ai x V , i
bx =  b j x j V
i =0 j =0
ax .bx V → ax .bx
(
mod x n +1 ) (3.29)
✓Phép nhân với x
n −1
 = (a0 a1...ai ...an −1 )  a ( x) =  ai x i  V
i
n
i =0
(
→ x.ax = x a0 x 0 + a1 x1 + ... + an−1 x n−1 ) ( )
mod x n +1
(
= an−1 x 0 + a0 x1 + a1 x 2 + ... + an−2 x n−1 )
→ ( an−1 a0 a1...an−2 ) =  nj V
✓Phép chia cho x

n −1
 = (a0 a1...ai ...an −1 )  a ( x) =  ai x i  V
i
n
i =0
1
x
(
→ .ax = x −1 a0 x 0 + a1 x1 + ... + an−1 x n−1 ) ( )
mod x n +1
(
= a1 + a2 x1 + ... + an−1 x n−2 + a0 x n−1 )
 ( a1 a2 ...an−1 + a0 ) =  V n
k
➢Kết luận: Phép nhân một đa thức mã với x cho kết quả tương
đương việc dịch vòng đa thức mã sang phải một dấu mã. Phép
chia một đa thức mã cho x cho kết quả tương đương việc dịch đa
thức mã sang trái một dấu mã.
64
3.4.2 CÁC ĐỊNH NGHĨA VỀ MÃ CYCLIC
❖ Mã Cyclic
Mã Cyclic là một bộ mã hệ thống tuyến tính
f x V , → xi . f x V (3.30)
❖ Đa thức sinh
+ Ký hiệu g(x)- Đa thức sinh của bộ mã
deg g(x) = mindeg f(x)
+ Biểu diễn
r
g ( x) =  gi x i (3.31)
i =0

+ Một số thuộc tính g(x)
- Thành phần tự do của g(x) luôn bằng 1: go = 1
- Bậc cao nhất của đa thức sinh xác định số dấu kiểm tra của bộ mã
- Đa thức là một nhân tử của nhị thức x n + 1:

xn + 1
( + 1) g ( x )
x n
h( x) =
g ( x)
h ( x ) .g ( x ) = 0

Ví dụ
x 7 + 1 = (1 + x).(1 + x + x 3 ).(1 + x 2 + x 3 ) = g1 ( x).g 2 ( x).g 3 ( x)

❖ Ma trận sinh của bộ mã
+ Ma trận sinh ra bộ mã gọi là ma trận sinh
+ Ma trận sinh của bộ mã có thể được xây dựng như sau:
 g ( x) 
 x.g ( x) 
G( n ,k ) = 
 ......... 
 k −1 
 x .g ( x ) 

❖ Ma trận sinh của bộ mã
Ví dụ
Ma trận sinh của bộ mã Cyclic (7,4) có đa thức sinh

𝑔 𝑥 = 1 + 𝑥 + 𝑥 3 có dạng như sau:
1 1 0 1 0 0 0 
011 0 1 0 0
G (7, 4) =  
0 011 0 1 0
 
 0 0 0 1 1 0 1 

❖ Ma trận kiểm tra của bộ mã

+ Ký hiệu H(n,k) – Ma trận kiểm tra của bộ mã
h ( x) = x deg h ( x ) .h( x −1 )
G( n ,k ) .H (Tn ,k ) = 0
xn + 1
+ Biểu diễn  h(*x )  h ( x ) .g ( x ) = 0
h( x ) =
  g ( x)
 x.h( x ) 
*
H ( n ,k ) =   (3.32)
 ......... 
 x r −1.h* 
 ( x) 
Trong đó: ℎ∗ 𝑥 là đa thức đối ngẫu với đa thức trực giao

của đa thức sinh g(x)
❖ Ma trận kiểm tra của bộ mã

Ví dụ: Tìm ma trận kiểm tra của mã Cyclic (7,4) có đa thức sinh
g ( x) = 1 + x + x 3
Ta có: xn + 1
h( x).g ( x) = 0 → h( x) = = 1 + x + x2 + x4
g ( x)
1 1 1
 h ( x) = x k .h(1/ x) = x 4 .(1 + + 2 + 4 )
x x x
= 1 + x 2 + x3 + x 4
Ma trận kiểm tra có dạng như sau:
1 0 1 1 1 0 0 
H (7,4) = 0 1 0 1 1 1 0 
 
0 0 1 0 1 1 1
3.4.3 THIẾT BỊ TẠO MÃ CYCLIC
❖ Nguyên tắc tạo mã
+ Viết tổ hợp mã gốc gồm k dấu mang tin a(𝑥)
+ Dịch tổ hợp mã gốc sang phải r dấu mã: 𝑥 𝑟 . 𝑎 (𝑥)
+ Chia 𝑥 𝑟 . 𝑎 (𝑥) cho g(x) lấy phần dư 𝑟 𝑥
+ Từ mã tương ứng với tổ hợp mã gốc

𝑓 𝑥 = 𝑟 𝑥 + 𝑥 𝑛−𝑘 𝑎 (𝑥)

❖ Nguyên tắc tạo mã

Ví dụ: Khi truyền tin trên kênh có nhiễu, ta sử dụng bộ mã
Cyclic (7,4) có đa thức sinh: g ( x) = 1 + x 2 + x.3
Hãy tìm tổ hợp mã ứng với tổ hợp dấu mang tin a1 = 1001
Link mô phỏng
tạo mã Cyclic

❖ Thiết bị tạo mã
+ Mạch chia và tính phần dư
- Gồm r triger mắc nối tiếp
- Số mạch cộng modul 2 phụ thuộc vào dạng thức của đa thức sinh
Sơ đồ mạch chia tính phần dư

+ Mạch cộng phần dư với tổ hợp mã gốc
➢Sau k nhịp đầu mã thực hiện phép chia và tính dư (mạch và 𝑉1 mở).
Phần dư nằm trong các triger 1  r
➢Từ nhịp (k + 1)  n phần dư được đẩy ra (mạch và 𝑉2 mở). Kết hợp
với tổ hợp mã gốc để tạo thành từ mã thông qua mạch hoặc H.
Sơ đồ nguyên lý mạch tạo mã

75
Ví dụ: Thiết bị mã hóa cho mã Cyclic (7,4), có đa thức sinh

g ( x) = 1 + x + x 3
Với giả thiết đa thức cần mã là: ai ( x) = x + x
3
Giải:
Sơ đồ thiêt bị tạo mã:

Quá trình hoạt động của bộ mã:

Xung nhịp Vào Trạng thái các ô nhớ Ra
1 2 3
1 1 1 1 0 1
2 0 0 1 1 0
3 1 0 0 1 1
4 0 1 1 0 0
5 0 0 1 1 0
6 0 0 0 1 1
7 0 0 0 0 1
Từ mã được thiết lập là: 1010011

3.4.4 GIẢI MÃ CHO CÁC MÃ CYCLIC
❖ Hai thủ tục giải mã

+ Dẫn ra véc tơ sai từ dấu mã nhận được
+ Dẫn ra từ mã từ dãy dấu mã nhận được

❖ Phương pháp giải mã theo Syndrom
v : véc tơ mã nhận được

H ( n ,k ) : Ma trận kiểm tra của bộ mã
Syndrom của một véc tơ mã, được định nghĩa như sau:
Sr = v.H (Tn ,k ) (3.33)
Phân tích r thành phần của Sr sẽ cho ta kết luận về dấu

mã sai cần sửa.

❖Phương pháp giải mã ngưỡng

Giả sử f(x) là đa thức mã nhận được f(x)  V thì
f x .H T (n, k ) = 0 →Ta có hệ r phương trình kiểm tra (Hệ tổng
kiểm tra).
+ Nếu có thể thiết lập được r phương trình kiểm tra đối với một
dấu mã, dùng nguyên tắc biểu quyết theo đa số ta có thể biểu quyết
cho giá trị của dấu mã đó.
+ Nếu có thể lập được r phương trình kiểm tra đối với một tổ hợp
tuyến tính của m dấu mã, dùng nguyên tắc biểu quyết theo đa số, ta
có thể biểu quyết cho giá trị của m dấu mã đó. Để tìm giá trị cụ thể
của một dấu mã nào đó ta phải căn cứ vào các ngưỡng phụ tiếp theo.
80
❖ Phương pháp giải mã theo thuật toán chia dịch vòng

Giả sử u(x) là đa thức mã nhận được.
Nếu 𝑢 𝑥 𝜖𝑉, thì: 𝑢(𝑥) ⋮ 𝑔(𝑥)
Nếu 𝑢 𝑥 không chia hết cho 𝑔(𝑥) thì sẽ có phần dư. Phân tích
phần dư, ta có kết luận về cấu trúc sai và đưa ra phương thức
giải mã hiệu quả

❖ Phương pháp giải mã theo thuật toán chia dịch vòng
Bước 1: Lấy đa thức mã nhận được f(x) chia cho g(x). Tình phần
dư r(x). Xác định trọng số phần dư w(r(x)).
• Nếu w(r(x))≤ 𝑡 → Thực hiện theo bước 2
• Nếu w(r(x))> 𝑡 → Thực hiện theo bước 3.
Bước 2: Lấy r(x) cộng đa thức mã nhận được→ Đa thức mã đúng
r(x)+f(x)→y(x)

Bước 3: Dịch vòng đa thức mã nhận được sang phải (hoặc trái) 1 dấu mã.
Chia đa thức mã đã dịch cho đa thức sinh g(x), xác định phần dư r(x) và
tính w(r(x)).
• Nếu w(r(x))≤ 𝑡→ Thực hiện theo bước 4
• Nếu w(r(x))> 𝑡 → Thực hiện theo bước 5
Bước 4: Lấy phần dư r(x) cộng với đa thức mã đã dịch x.f(x) hoặc f(x)/x
sau đó đem kết quả này dịch vòng ngược trở lại sang trái hoặc (sang phải).
Ta thu được đa thức đúng.
r ( x) + x. f ( x)  1 
f ( x) = '
Hoặc f '
( x ) =  r ( x ) + f ( x )  .x
x x 
Bước 5: Thực hiện như bước 3 cho đến khi w(r(x))≤ 𝑡
83
Ví dụ
Khi truyền tin trên kênh có nhiễu, người ta sử dụng bộ mã

Cyclic (7,4) có đa thức sinh 𝑔 𝑥 = 1 + 𝑥 + 𝑥 3 . Dùng thuật toán
chia dịch vòng, xác định dấu mã sai trong các từ mã nhận được. (Tìm
tổ hợp mã đúng khi nhận được THM sau):
17 = 1110110
 27 = 0101010

Hiệu suất hệ thống sử dụng và không sử dụng mã Hamming, Cyclic
85
BÀI TẬP
1. Khi truyền tin trên kênh không nhiễu, bộ mã nào sau đây được
dùng và không được dùng để mã hóa cho các tin của nguồn rời rạc.
A. 00, 01, 10, 111, 1101, 11000, 11011.

B. 10, 11, 01, 000, 0010, 00110, 00101.
C. 00, 10, 01, 111, 1100, 11011, 10010.
D. 01, 10, 11, 000, 0011, 00100, 00101.
86
BÀI TẬP
2. Một nguồn rời rạc được cho như sau:
 a1 a2 a3 a4 a5 a6 a7 a8 a9 
A= 1 1 1 1 1 1 1 1 1 
 
 2 8 8 16 16 16 32 64 64 
a. Viết từ mã cho các tin tương ứng theo phương pháp lập
mã Huffman.
b. Kiểm tra tính kinh tế của bộ mã.
c. Giải mã cho dãy bít nhận được.
1 0 0 11 0 0 111 0 0 0 1 0 1111 0 1 0 0
87
BÀI TẬP
3. Khi truyền tin trên kênh có nhiễu, người ta sử dụng bộ mã Cyclic (7,4) có đa thức
sinh 𝑔 𝑥 = 1 + 𝑥 2 + 𝑥 3 . Tìm từ mã ứng với tin có tổ hợp dấu mang tin sau:
0110, 1011, 1100, 1000.
sinh 𝑔 𝑥 = 1 + 𝑥 2 + 𝑥 3 . Dẫn ra véc tơ sai khi thu được tổ hợp mã:
1001100, 1001010
sinh 𝑔 𝑥 = 1 + 𝑥 2 + 𝑥 3 . Chỉ ra dấu mã sai khi thu được tổ hợp mã:
1001100, 1001010
88
1
- Hiểu được các đặc trưng của tín hiệu ngẫu nhiên.
- Hiểu được phương pháp biểu diễn cho thể hiện

của tín hiệu ngẫu nhiên.
- Vận dụng làm một số bài tập
2
NỘI DUNG
4.3 Các đặc trưng vật lý của tín hiệu ngẫu

nhiên và nhiễu.
3
4.1 BIỂU DIỄN PHỔ CHO
THỂ HIỆN CỦA TÍN HIỆU
4.1.1 Khai triển trực giao
4.1.2 Biến đổi Fourier của những hàm tuần hoàn
4.1.3 Biến đổi Fourier của những hàm không tuần hoàn
4.1.4 Một số thuộc tính của biến đổi Fourier

4.1.1 KHAI TRIỂN TRỰC GIAO
❖ Hệ hàm {Un(t), n = 0 ÷ } được gọi là trực giao trong khoảng

thời gian T [t0  t0 +T ] nếu thỏa mãn:
khi m = n
 U n (t ).U m (t )dt =
c
,c=const
0 khi m  n
T
Khi c=1, hệ hàm U n (t ) được gọi là hệ hàm trực chuẩn.

Một tín hiệu vật lý x(t) nào đó, đều có thể được biểu diễn dưới
dạng: 
x(t ) = anU n (t ) 
n =0
(4.1)
5
4.1.1 KHAI TRIỂN TRỰC GIAO
Các hệ số 𝑎𝑛 được xác định như sau:
1
an =  x(t ).U n (t )dt (4.2)
cT
❖ Sai số của phép biểu diễn:

x(t ) −  anU n (t )   (4.3)
n =0
 - sai số của phép biểu diễn tín hiệu và dãy thay thế
6
4.1.2 BIẾN ĐỔI FOURIER CỦA NHỮNG HÀM TUẦN HOÀN
❖Xét một tín hiệu x(t) là hàm tuần hoàn chu kỳ T.
x(t) luôn thỏa mãn (xét trong một chu kỳ)
+  (t )dt   : Điều kiện khả tích.

2
x
T
+ x(t) chỉ có hữu hạn các điểm gián đoạn.
+ x(t) chỉ có hữu hạn các cực trị.
7
❖ Chọn họ hàm trực giao
U n (t ) = 1,cos n0t ,sin n0t ; n = 1  
2
Trong đó: 0 = 2 f 0 =  rad / s 
T
f 0 = 1/ T [Hz]
n0 hài bậc n của thành phần tần số 0

❖ Ta có thể biểu diễn x(t) dưới dạng như sau:

1
x(t ) = a0 +  ( an cos n0t + bn sin n0t ) (4.4)
2 n =1
(4.4) - Chuỗi Fourier dưới dạng thực

8
Với giả thiết

T / 2 m = n
T cos not cos motdt =  0 m  n ...
Các hệ số: ao, an, bn được xác định như sau:
1
ao =  x(t )dt
TT
2
an =  x(t )cos notdt (4.5)
TT
2
bn =  x(t )sin notdt
TT
9
Theo quan hệ Paseval

1 2 1

TT
x (t )dt = a0
2
+ 
2 n=1
( a 2
n + b 2
n)
Công suất tín hiệu Công suất các

thành phần hài f  0
Công suất thành phần
một chiều (f=0)
10
❖ Sử dụng công thức Euler

e  j = cos   j sin  (4.6)
❖Ta có thể biểu diễn chuỗi (4.4) dưới dạng
1 
x(t ) = a0 +  [(an - jbn )e jn0t +(an + jb)e − jn0t ]
2 n =1
❖ Đặt 1
Cn = ( an − jbn )
2
Ta có

x(t ) = Ce
n =−
n
jnot
(4.7)
(4.7) – Chuỗi Fourier dưới dạng phức

11
❖ Phổ tần số Cn
1 1
Cn = ( an − jbn ) =  x(t )e − jnot dt (4.8)
2 TT
- Phổ biên độ (Modul)

1 2
Cn = Re Cn  + Im Cn  =
2 2
a + b2 (4.9)
2
- Phổ pha (Argument)
 Im Cn    bn 
 n = arctg   = arctg  −  (4.10)
 Re Cn    an 
12
4.1.3 BIẾN ĐỔI FOURIER CỦA NHỮNG HÀM KHÔNG TUẦN HOÀN
❖ Đối với những hàm tuần hoàn chu kỳ T có phổ tần số:
T
2
Cn =  T
x(t )e − jnot dt (4.11)
−
2
❖ Với những hàm không tuần hoàn, để có thể áp dụng kết quả ở trên. Ta
coi sự không tuần hoàn như kết quả của việc tăng chu kỳ đến vô hạn (T
→)
T →   o→d
no→ (Các vạch phổ xít lại gần nhau)
Cn→X( )
13
4.1.3 BIẾN ĐỔI FOURIER CỦA NHỮNG HÀM KHÔNG TUẦN HOÀN
❖ Ta có cặp công thức


X ( ) = 
−
x(t )e − jt dt Biến đổi Fourier thuận (FT)

1
x(t ) =
2 −
 X ( )e jt d  Biến đổi Fourier ngược (IFT)
X() – Phổ tần số, đặc trưng cho sự phân bố biên độ của tín hiệu
trên các thành phần tần số.
14
4.1.4 MỘT SỐ THUỘC TÍNH CỦA BIẾN ĐỔI FOURIER
❖ Thuộc tính tuyến tính

Giả sử
u (t ) U ( )
v(t ) V ( )
Ta có:
a.u (t ) + b.v(t ) a.U ( ) + bV

. ( ) (4.12)
Biến đổi Fourier là một thuật toán tuyến tính.
15
❖Thuộc tính tịnh tiến (dịch trễ)
Giả sử:
x(t ) X ( )
Thì
− j
x(t −  ) e X ( ) (4.13)
Biến đổi Fourier của 𝑥(𝑡) và x(t −  ) có modul như nhau, nhưng
biến đổi Fourier của x(t −  ) có thêm di pha  .
16
❖ Thuộc tính đồng dạng
Giả sử:
x(t ) X ( )
Thì
1  
x(at ) X 
a a (4.14)
17
❖Thuộc tính của phần thực và phần ảo của phổ

Xét tín hiệu thực x(t)
Phổ của tín hiệu: X ( ) = A( ) − jB( )
Theo biến đổi Fourier ngược ta có:

1
x(t ) =
2   A( ) − jB( )( cos t + j sin t ) d
−
Vì tín hiệu x(t) là thực nên ta có:
 
 A( ).sin td = 0

−
 B( ).cos td = 0
−
(4.15)
Phần thực của phổ tín hiệu là hàm chẵn: A( ) = A( − )

Phần ảo của phổ tín hiệu là hàm lẻ: B ( ) = − B ( − )
18
❖ Công thức Reileight tổng quát

Giả thiết
u (t ) U ( )
v(t ) V ( )
Xét tích vô hướng hai tín hiệu trên:
 
1
(u.v) =  u (t )v(t ) dt =  V ( ).U (− )d (4.16)
−
2 −
(4.16) – Công thức Reileight tổng quát

❖ Định lý Parseval
Trong biểu thức (4.16) khi u (t )  v(t ) thì:
 
1
− u (t ) dt = 2  U ( ) d 
2 2
(4.17)
−
Biểu thức (4.17) là nội dung của định lý Parseval: Năng

lượng chứa trong tín hiệu không phụ thuộc vào phương thức biểu
diễn. Biểu diễn theo hàm của thời gian hay hàm của tần số thì năng
lượng của tín hiệu không thay đổi.
20
4.2 ĐẶC TRƯNG THỐNG KÊ CỦA
TÍN HIỆU NGẪU NHIÊN VÀ NHIỄU
4.2.1 Bản chất ngẫu nhiên của tín hiệu và nhiễu
4.2.2 Phân loại nhiễu
4.2.3 Các quy luật thống kê
4.2.4 Các đặc trưng thống kê

4.2.1 BẢN CHẤT NGẪU NHIÊN CỦA TÍN HIỆU NGẪU NHIÊN VÀ NHIỄU
❖ Với tín hiệu xác định x(t ), ta có thể xác định các đặc trưng
vật lý thông qua cặp biến đổi Fourier:
1 
x(t ) =  Cn e jnot
T n=−

Cn = 
−
x(t )e − jnot
❖ Về mặt tổng quan, ta phải coi tín hiệu là một quá trình
ngẫu nhiên, nhiễu là một quá trình ngẫu nhiên:
X =  x(t ),W ( x, t )

4.2.2 PHÂN LOẠI NHIỄU
Theo bề rộng phổ
Theo nguồn gốc
23
Theo phương thức

bức xạ nhiễu
24
Theo phương thức tác

động vào tín hiệu
25
4.2.3 CÁC QUY LUẬT THỐNG KÊ
❖ Hàm mật độ phần bố xác suất một chiều W1 ( x1 , t1 )
Luật phân bố xác suất một chiều là xác suất để đại lượng ngẫu nhiên
x(t1 ) không vượt quá mức x1 cho trước.
f1 ( x1t1 ) = p  x(t1 )  x1 (−  x1  )
Nếu tồn tại đạo hàm riêng cấp 1 theo x1 ta có:

f ( x1 , t1 )
W1 ( x1 , t1 ) =
x1
26
❖ Hàm mật độ phần bố xác suất hai chiều W2 ( x1 , t1 ; x2 , t2 )
Luật phân bố xác suất hai chiều là xác suất để đại lượng ngẫu nhiên
x(t1 ) không vượt quá mức x1 cho trước, x(t2 ) không vượt quá mức x2 cho
trước.
f 2 ( x1t1 , x2t2 ) = p  x(t1 )  x1 ; x (t2 )  x2 
(−  x1 , x2  )
Nếu tồn tại đạo hàm riêng cấp 2 theo x1 và x2 ta có:
f 2 ( x1 , t1 , x2 , t2 )
W2 ( x1 , t1 , x2 , t2 ) =
x1.x2
27
❖ Hàm mật độ phần bố xác suất nhiều chiều Wn ( x1 , t1 ; x2 , t2 ;..xn , tn )
Tương tự như trên:
f n ( x1t1 ,..., xntn ) = p  x(t1 )  x1 ,..., x(tn )  xn 

(−  x1 ,..., xn  )...
Nếu tồn tại đạo hàm riêng cấp n của theo x1 ,..., xn ta có:
f ( x1 , t1 ;...; xn , tn )
Wn ( x1 , t1 ;...; xn , tn ) =
x1.x2 ...xn
28
4.2.4 CÁC ĐẶC TRƯNG THỐNG KÊ
❖ Kỳ vọng (trung bình thống kê)


x(t ) = mx (t ) = M  x(t )  =  x(t )W ( x, t )dx
−
❖ Phương sai

D  x(t )  = M  x(t ) − m (t )  =   x(t ) − m (t ) W ( x, t )dx
x
2
−
x
2
Phương sai đặc trưng cho độ tản mạn của các giá trị
của quá trình ngẫu nhiên quanh kỳ vọng của nó.

❖ Hàm tự tương quan
Rx (t1 , t2 ) = M  x(t1 ) − mx (t1 )  x(t2 ) − mx (t2 ) 

 
=   [ x(t ) - m (t )][ x(t ) - m (t )]W ( x t
− −
1 x 1 2 x 2 2 x t )dx1dx2
1 1, 2 2,
Hàm tự tương quan đặc trưng cho sự phụ thuộc thống kê giữa hai giá
trị, thuộc cùng một thể hiện của quá trình ngẫu nhiên.
Trường hợp đặc biệt
t1  t2 = t → Rx (t1 , t2 ) = D  x (t ) 
Phương sai là trường hợp riêng của hàm tự

tương quan, khi hai thời điểm trùng nhau. 30
Khi xét sai số của
❖Trung bình bình Phương việc đánh giá một
QTNN, ta còn dùng
khái niệm trung bình
 x (t ) = D  x(t )  bình phương.
❖ Hàm tự tương quan chuẩn hóa
Để so sánh một cách tương

đối hàm tự tương quan của
các quá trình ngẫu nhiên với
nhau, ta dùng hàm tự tương
quan chuẩn hóa.
31
❖ Quá trình ngẫu nhiên Ergodic

 
mx (t ) = mx =  x(t )W ( x, t )dx =  x(t )dt
− −
Rx (t1 , t2 ) = M  x(t ) − mx  x (t +  ) − mx 

=   x(t ) − m  x(t +  ) − m  dt = R ( )
−
x x
❖ Quá trình ngẫu nhiên quy tâm

mx (t ) = mx = 0
4.3 ĐẶC TRƯNG VẬT LÝ CỦA
TÍN HIỆU NGẪU NHIÊN VÀ NHIỄU
4.3.1 Cơ sở lý thuyết phổ của tín hiệu ngẫu nhiên
4.3.2 Biến đổi Khinchin Wiener
4.3.3 Bề rộng phổ công suất

4.3.1 CƠ SỞ LÝ THUYẾT PHỔ CỦA TÍN HIỆU NGẪU NHIÊN
❖ Khi xét tới các đặc trưng vật lý trong trường hợp tín hiệu là QTNN, ta
không thể áp dụng biến đổi Fourier vì:
+ Tín hiệu x(t ) là tập vô hạn các thể hiện, do đó sẽ có vô hạn cặp biến đổi mà
ta không kiểm soát được.
+ Các thể hiện của QTNN không thỏa mãn điều kiện khả tích tuyệt đối:
T /2
lim
T → 
−T /2
xi (t ) dt = 
34
❖Xét một thể hiện của x(t) trong khoảng thời gian xác
định T nào đó ( T = −T / 2  T / 2 ) với giả thiết:
 x(t ) t  ( −T / 2  T / 2 )
xT (t ) =  (4.18)
0 t  ( −T / 2  T / 2 )
35
❖Khai triển fourier cho đoạn thể hiện xT (t )
T /2
X T ( ) = 
−T /2
xT (t )e − jt dt (4.19)
❖Theo quan hệ Parseval, năng lượng của một đoạn của một thể hiện
của tín hiệu ngẫu nhiên:
T /2 T /2
1
=  xT (t )dt =  X T ( ) d 
2 2
ExT (t ) (4.20)
−T /2
2 −T /2
Chia cả hai vế của biểu thức (4.20) cho T, ta có:

❖ Công suất của một đoạn của một thể hiện của tín hiệu ngẫu nhiên
T /2
E xT ( t ) 1 1
  d
2
PT = = X ( ) (4.21)
2
T
T −T /2
T
36
❖ Ký hiệu
X T ( )
2
GT ( ) = (4.22)
T
GT ( ) - Mật độ phổ công suất của một đoạn của một thể hiện
của tín hiệu ngẫu nhiên
Khi cho T →  ta có:

X T ( )
2
Gx ( ) = lim GT ( ) = lim (4.23)

T → T → T
Gx ( ) - Mật độ phổ công suất của một thể hiện của THNN
37
❖ Mật độ phổ công suất của tín hiệu ngẫu nhiên G ( )

Lấy kỳ vọng của Gx ( ) ta được:
G ( ) = M Gx ( )
 X T ( ) 
2
= M  lim 
T → T
 
➢Ý nghĩa: G ( ) đặc trưng cho sự phân bố công suất của tín

hiệu trên các giải tần số.
38
4.3.2 BIẾN ĐỔI KHINCHIN WIENNER
❖ Từ (4.23) ta có:
 X T ( ) 
2
 X T ( ) X T* ( ) 
G ( ) = M  lim  = M  lim 
T → →
 T  T T 
T T
2 2
1
= lim   M  xT (t1 ) xT (t2 ) e − j (t1 −t2 ) dt1dt2
T → T
−T −T
2 2
39
❖ Với QTNN là QTNN quy tâm

QTNN quy tâm là QTNN có kỳ vọng triệt tiêu (𝑚𝑥 = 0). Khi đó:
M [ xT (t1 ).xT (t2 )] = RxT (t1 , t2 ) = R( )
Hàm mật độ phổ công suất được viết lại như sau:
T T
2 2
1
G ( ) = lim   RxT (t1t2 )e − j (t1 −t2 ) dt1dt2
T → T
−T −T 2 2

 R( )e
− j
= d (4.24)
−

❖Nếu tồn tại tích phân trên, thì R ( ) phải thỏa mãn điều kiện khả
tích tuyệt đối.
Nghĩa là: 

−
R ( ) d  
Đặc trưng cho sự phân bố
Biểu thức:  công suất một cách quân
G ( ) =  R ( )e − j d bình của QTNN quy tâm
− trên các giải tần số.
G ( )- Mật độ phổ công suất của QTNN.
41
❖Từ (4.24) theo biến phép biến đổi Fourier ngược ta có


1
R ( ) =  G (  ) e j
d (4.25)
2 −
Ta có cặp biến đổi Winner- Khinchin

∞
𝐺 (𝜔 ) = 𝑅(𝜏). 𝑒 −𝑗𝜔𝜏 𝑑𝜏
−∞
∞
1
𝑅 (𝜏 ) = . 𝐺 (𝜔). 𝑒 𝑗𝜔𝜏 𝑑𝜔
2𝜋
−∞
42
❖Trường hợp đặc biệt khi t1 = t2   = 0 ta có:

 
1 1
− G( )e d = 2  G( )d = p
jt
R ( ) = = Dx (t )
2
x
−
Do G ( ) là hàm chẵn nên: G ( ) = G (− )

Cặp biến đổi Winner- Khinchin có thể được viết lại như sau:

G ( ) = 2. R( ) cos  d
0

1
R ( ) =
  G ( ) cos  d 
0
43
4.3.3 BỀ RỘNG PHỔ CÔNG SUẤT
❖ Bề rộng phổ công suất được định nghĩa theo biểu thức:

 G ( ) d 
 ( ) = − (4. 26)
G ( o )
G ( o ) - Là giá trị cực đại của mật độ phổ công suất G ( )
44
4.3.3 BỀ RỘNG PHỔ CÔNG SUẤT
❖ Ý nghĩa bề rộng phổ công suất

+ Về mặt hình học:
Bề rộng phổ công suất là đáy của hình chữ

nhật có chiều cao là G (o ) , có diện tích
bằng diện tích của tam giác cong giới hạn
bởi đường cong G ( ) và trục ngang.
+ Về mặt vật lý:
Bề rộng phổ công suất đặc trưng cho sự tập trung công suất (năng lượng) tín
hiệu quanh tần số trung tâm o nào đó.
45
4.4 BIỂU DIỄN PHỨC VÀ BIỂU DIỄN HÌNH HỌC CHO
THỂ HIỆN CỦA TÍN HIỆU NGẪU NHIÊN VÀ NHIỄU
4.4.1 Biểu diễn phức cho thể hiện của tín hiệu
4.4.2 Biến đổi Hibert
4.4.3 Các yếu tố của tín hiệu giải tích
4.4.4 Chuỗi Kachennhicov
4.4.5 Năng lượng chuỗi kachennhicov
4.4.6 Biểu diễn hình học cho thể hiện của tín hiệu

4.4.1 BIỂU DIỄN PHỨC CHO THỂ HIỆN CỦA TÍN HIỆU
❖ Tín hiệu là hàm điều hòa theo thời gian

x(t ) = A(t ) cos (ot + o ) = A(t ) cos  (t ) = A(t )e j ( t )
❖ Biểu diễn phức của tín hiệu điều hòa trên
•
X (t ) = A(t )e j ( t ) = A(t )cos  (t ) + jA(t )sin  (t )
= X (t ) + j X (t ) (4.27)
Trong đó: o - Pha ban đầu
 (t ) - Pha tức thời (pha chạy)
A(t ) - Biên độ tức thời
47
Theo biểu thức (4.27) biểu diễn phức cho thể hiện của tín hiệu ngẫu nhiên:
•
X (t ) = X (t ) + j X (t )
•
Như vậy, véc tơ phức X (t ) có độ dài 𝐴(𝑡) quay ngược chiều kim đồng hồ
xung quanh gốc tọa độ với vận tốc góc:
 (t )
 (t ) = (4.28)
t
48
•
Im [X (t )]
X (t ) M
A(t )
 (t )
•
X (t ) Re [X (t )]
Biểu diễn của tín hiệu trong mặt phẳng phức

49
4.4.2 BIẾN ĐỔI HILBERT
❖ Định lý
Phần thực và phần ảo của tín hiệu phức liên hệ với nhau bởi cặp biến đổi
tích phân đơn trị hai chiều như sau:

 •
 1 X ( )
X (t ) = Im  X (t )  =  d = H  X (t )  (4.29)
   −
t −

 •
 1 X ( )
X (t ) = Re  X (t )  = −  d = H −1  X (t )  (4.30)
   t −  
−
Cặp công thức (4.29) (4.30) được gọi là cặp biến đổi Hilbert
X (t ), X (t ) : Gọi là hàm liên hợp Hilbert
50
❖ Thuộc tính của biến đổi Hilbert

- Biến đổi Hilbert là một thuật toán tuyến tính
f ( x1 + x2 ) = f ( x1 ) + f ( x2 )
(4.31)
f ( k .x ) = k . f ( x )
- Định nghĩa tín hiệu giải tích
Tín hiệu phức có phần thực và phần ảo thỏa mãn biến đổi Hilbert được
gọi là tín hiệu giải tích.

Ví dụ
Cho tín hiệu hình sin x(t ) = cos(0t ) . Tìm hàm liên hợp Hilbert.
Ta có:
x(t ) = cos(0t ) = X (t )
Hàm liên hợp Hilbert:

 
 1 X ( ) 1 cos[0 (t −  ) − 0t ]
X (t ) =  d =  d
 − t −   − t −

1 cos 0 (t −  ).cos 0t + sin 0 (t −  ).sin 0t
=  d
 − t −
 
cos 0t cos 0 (t −  ) sin 0t sin 0 (t −  )
=
 − t −  d +
 − t −
d
 
Lưu ý cos az sin az
− z dz = 0,− z dz = 
Ta được:
x(t ) = A cos(t +  ) = X (t )

X (t ) = H [X (t )]=A sin(t +  )
Tương tự như trên:
x(t ) = A sin(t +  ) = X (t )

X (t ) = H [X (t )]= - A cos(t +  )

4.4.2 BIẾN ĐỔI HILBERT Hàm biến thực, đơn trị, hữu
hạn, liên tục từng khúc (có
❖ Biến đổi Hilbert cho các thể hiện tín hiệu phức tạp một số hữu hạn các điểm
Trường hợp 1 gián đoạn).
Khi tín hiệu là hàm tuần hoàn thỏa mãn điều kiện Dirichlet

X (t ) =  (a
k =−
k cos kot + bk sin kot ) (4.32)
Do Hilbert là phép biến đổi tuyến tính

X (t ) = H  X (t )  =  (a k sin kot − bk cos kot ) (4.33)
k =−
Cặp công thức trên được gọi là chuỗi liên hợp Hilbert

Trường hợp 2
Khi tín hiệu là không tuần hoàn (phổ liên tục) được biểu diễn bởi tích phân
Fourier:

1
x (t ) =  ( A( ) cos t + B( ) sin t ) d = X (t ) (4.34)
 0
Liên hợp Hilbert của nó:


1
X (t ) = H  X (t )  =  ( A( )sin t − B ( ) cos t ) d  (4.35)
 0
Cặp biến đổi trên được gọi là tích phân liên hợp Hilbert.
55
4.4.3 CÁC YẾU TỐ CỦA TÍN HIỆU GIẢI TÍCH
❖ Xét tín hiệu giải tích
•
X (t ) = X (t ) + j X (t ) = A(t )e j ( t )
- Biên độ tức thời
X (t ) = A(t ).cos  (t )

X (t ) = A(t ).sin  (t )
2
 A(t ) = X (t ) + X (t )
2 (4.36)

- Pha tức thời (pha chạy của tín hiệu giải tích)
X (t )
 (t ) = arctg (4.37 )
X (t )
- Tần số góc tức thời

 
 
 (t )  X (t )  X (t ) / X (t )
 (t ) = = arctg =
t  X (t )   2
  X (t )
1+
X 2 (t ) (4.38)

X (t ) X (t ) − X (t ) X (t )
= 2
X (t ) + X (t )
2
57
❖ Các tính chất của đường bao

- A(t )  X (t ) t (4.39)

- A(t ) = X (t ) khi X (t ) = 0
- Tốc độ biến thiên của đường bao
 
A(t ) X (t ) X (t ) − X (t ) X (t )
A(t ) = =
t 2 (4.40)
X (t ) + X (t )
2
58
x(t ) A(t )
X (t )
o t
Minh họa các yếu tố của một tín hiệu giải tích
Khi: X (t ) = 0 A(t ) = X (t ) nghĩa là tại những điểm mà tại đó X (t ) = 0

thì tốc độ biến thiên của A(t) và X(t) là như nhau.

4.4.4 CHUỖI KACHENNHICOV
Xét một thể hiện của tín hiệu ngẫu nhiên sử dụng hệ hàm trực giao
sin c (t − k t )
U k (t ) =
c (t − k t )
c : Tần số cao nhất trong phổ của tín hiệu, nghĩa là
X ( ) = 0 Nếu như   c
Ta có thể biểu diễn x(t ) dưới dạng như sau

x(t ) =  Ck .U k (t ) (4.41)
k =0
60
Trong đó:

x( k )
Ck =  x(t )U
−
k (t )dt = x( k t ) = x( k ) x(t )
x(kt) = x(k) : Gọi là các giá trị mẫu của

tín hiệu.

t  o t
c t

❖ Chuỗi Kachennhicov

sin c (t − k t )
x(t ) =  xk . (4.42)
k =− c (t − k t )
(4.42- Gọi là chuỗi Kachennhicov)
Kết luận:
Ta có thể biểu diễn x(t) thông qua các mẫu xk của nó.
Chỉ cần biết thông tin về xk ta sẽ biết thống tin về x(t).
62
4.4.5 NĂNG LƯỢNG CHUỖI KACHENNHICOV
Giả sử xét tín hiệu trong một khoảng thời gian T.

Năng lượng của đoạn thể hiện này:
T T 2
2 2
 n
sin c (t − k t ) 
E =  x (t )dt =    xk .
2
 dt
− T2 − T2  k =1
c (t − k t ) 
T
1 n
sin 
2 2
=  xk  2
d
c k =1 − T 
2
 n 2 1 n 2
=  xk =  xk
c k =1 2 f c k =1
63
4.4.5 NĂNG LƯỢNG CHUỖI KACHENNHICOV
Ta có
 n 2 1 n 2
E =  xk =  xk (4.43)
c k =1 2 f c k =1
(4.43) - Công thức tính năng lượng chuỗi Kachennhicov

Trong đó:
n - Số lượng các giá trị rời rạc (số các điểm dọc) của thể
hiện trong khoảng thời gian quan sát T
xk - Là điểm dọc thứ k của x(t ) tại thời điểm k t
c - Tần số cao nhất trong phổ của tín hiệu
64
4.4.6 BIỂU DIỄN HÌNH HỌC CHO THỂ HIỆN CỦA TÍN HIỆU
Một tín hiệu có thể biểu diễn dưới dạng:
x(t ) = x1 , x2 ,...xk ...xn (4.44)

Hoặc
x(t ) = ( x1 , x2 ,...xk ...xn ) (4.45)
❖ Chuẩn (độ dài) của véc tơ tín hiệu được định nghĩa:
n
X =  k = 2 fc E = 2 fcTP = nP
x 2
k =1
(4.46)
P - Công suất của tín hiệu trong khoảng thời gian quan sát
n - Số lượng các giá trị rời rạc của x(t) trong khoảng thời gian
quan sát. 65
❖ Đáy của tín hiệu

B = f cT (4.47)
❖ Chuẩn của véc tơ biểu diễn tín hiệu
X = 2 BP (4.48)
Với một công suất đã cho, chuẩn của véc tơ biểu diễn tín hiệu tỷ
lệ với căn bậc hai của “đáy tín hiệu”. Nghĩa là tín hiệu nào có đáy
càng lớn (tín hiệu càng phức tạp), thì véc tơ biểu diễn tín hiệu
càng lớn. Tức là càng dễ phân biệt tín hiệu đó với các tín hiệu
khác và nhiễu.
66
m
x(t ) n(t )
m
A(t )
x(t ) n(t ) M’
y (t )
n(t )
A(t ) n(t )
B (t )
y(t )
B(t )
M’
Biểu diễn hình học cho thể hiện của tín hiệu
67
BÀI TẬP
1. Một dãy xung vuông tuần hoàn, với chu kỳ T biên độ A có dạng như sau:
Hãy xác định phổ biên độ của dãy xung trên.
68
BÀI TẬP
2. Cho dãy xung điện báo ngẫu nhiên. Dãy xung này nhận các giá trị +h và –h
với cùng xác suất là ½ và giữ nguyên giá trị nhận được trong khoảng thời gian
ít nhất là T=const . Hơn nữa dãy xung này nhận các giá trị khác nhau và độc
lập thống kê với nhau tại các thời điểm khác nhau.
a) Tìm kỳ vọng và phương sai của quá trình ngẫu nhiên này.
b) Tìm hàm tự tương quan với điều kiện khoảng tương quan
 = t2 − t1  T
69
BÀI TẬP
3. Hãy tính năng lượng của tín hiệu được biểu diễn như sau:
70
BÀI TẬP

4. Cho tín hiệu giải tích: S a (t ) = x(t ) + j x(t )
Hãy chứng tỏ rằng đường bao của tín hiệu giải tích có thể biểu
diễn bằng công thức sau:
A(t ) = S a (t ).S a (t )

Trong đó: S a (t ) là hàm liên hợp phức của S a (t )
71
BÀI TẬP
5. Tính mật độ phổ công suất của tín hiệu ngẫu nhiên:
x(t ) = A.cos(0t +  )
Trong đó: A- Biên độ

0 - Tần số góc
 - Đại lượng ngẫu nhiên có phân bố đều
 1
-  
W1 ( ) =  2
0  

72

Cơ Sở Lý Thuyết Truyền Tin

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Cơ Sở Lý Thuyết Truyền Tin

Uploaded by

Copyright:

Available Formats

1

Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông

1.1.1 Sơ lược lịch sử phát triển

1.2.1 Một số khái niệm cơ bản

❖ Thông tin (tin tức)

Tin là dạng vật chất cụ thể biểu diễn thông tin.

Phân loại tin: Tin có hai dạng cơ bản

+ Tin liên tục

+ Tin rời rạc

NGUỒN MÁY MÁY NHẬN

KÊNH TRUYỀN TIN

Sơ đồ khối tổng quát của hệ thống thông tin

❖ Đường truyền tin

Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông

❖ Nhận tin: Là thiết bị thực hiện ba chức năng

- Lưu giữ tin

- Biểu thị tin

❖ Kênh truyền tin

1.3.1 Sơ đồ khối của một hệ thống truyền tin số

❖ Sơ đồ khối của một hệ thống thông tin số đơn giản

❖ Sơ đồ khối của một hệ thống thông tin số chi tiết

❖ Định dạng/ Mã nguồn

Định dạng/Mã nguồn

Mã hóa ký tự Các bộ mã hóa nguồn

Lấy mẫu Mã Huffman

Mật mã khóa công

Nội dung (M) CRC (R)

❖ Ghép kênh/ Đa truy nhập

+ Thực hiện truyền tin từ nhiều nguồn tin

+ Cho phép nhiều người dùng có thể truy nhập

- Thực hiên trải rộng phổ tín hiệu.

- Chống nhiễu (cố ý, do kẻ địch gây ra)

- Máy thu căn cứ vào tín hiệu tham

- Tín hiệu tham chiếu mang thông tin

1.4.1 Tính hữu hiệu và độ tin cậy

❖ Tính hữu hiệu

1.5.1 Giới thiệu một số hệ thống thông tin

HỆ THỐNG THÔNG TIN

Thông tin vô tuyến Hệ thống truyền số Hệ thống thông tin

Hệ thống thông tin

Hệ thống thông tin

- Dải tần công tác: 30Mhz- 150Mhz

- Truyền tin: Voice, Audio, Fax

- Cự ly liên lạc lớn: Dùng trong thông tin vũ trụ

- Số kênh liên lạc: n.10 ÷ n.103

- Cự ly liên lạc: Trong tầm nhìn thẳng

THIẾT BỊ CŨ THIẾT BỊ MỚI

- Vận dụng làm một số bài tập

2.1.1 Mối quan hệ giữa thông tin và độ bất định

2.1.2 Mối quan hệ giữa thông tin và xác suất

2.1.3 Các tiên đề về thông tin

2.1.4 Đơn vị thông tin

2.1.5 Lượng thông tin tương hỗ

Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 4

- Độ bất định về đối tượng cần

▪ Thông tin là mức độ thủ tiêu của độ bất định.

+ Khái niệm “Thông tin (Độ bất định)” và khái niệm

“Xác suất” có mối quan hệ phụ thuộc lẫn nhau.

+ Gọi 𝐼 𝑥𝑖 là thông tin về tin về tin (sự kiện, biến cố…) 𝑥𝑖

Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 8

❖Tiên đề 3: Tiên đề về sự cộng tính của thông tin

Vi phân hai vế theo p: qf ' ( pq ) = f ' ( p )

❖ Từ những nhận xét trên ta chứng minh được:

Trong đó k là hệ số, k< 0