BG CSLTTT c1

CƠ SỞ LÝ THUYẾT TRUYỀN TIN
MÔN HỌC DÀNH CHO CÁC ĐỐI TƯỢNG

KỸ SƯ THÔNG TIN
KỸ SƯ XỬ LÝ TIN
x(t)
Dạng sóng số (PSK)

x(t)
1 1 1 0 0 1 0 1 1 0 t
Dòng bit
x(t)
Dạng sóng số (QPSK)

2.6.1 TIN, TÍN HIỆU LIÊN TỤC
Tín hiệu cao tần s(t) là hàm của thời gian, giá trị của s(t) biến thiên liên
tục trong khoảng (smin ÷ smax). Nhưng đối số thời gian lại có thể liên tục
hoặc rời rạc.
Có hai loại tín hiệu liên tục:
+ Tín hiệu liên tục với đối số thời gian liên tục
+ Tín hiệu liên tục với đối số thời gian rời rạc
Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 77

2.6.2 ENTROPIE CỦA NGUỒN LIÊN TỤC
 Xét nguồn liên tục s(t) mà các giá trị của nó nằm trong
khoảng (smin ÷ smax)
 Để xác định Entropie của nguồn liên tục:
- Thực hiện chuyển nguồn liên tục thành
nguồn rời rạc.
- Tính Entropie của nguồn rời rạc.
- Chuyển nguồn rời rạc thành nguồn liên tục.

Chuyển nguồn liên tục thành nguồn rời rạc

Chia toàn bộ khoảng ( smin  smax ) thành n phần bằng nhau, mỗi phần
có độ lớn s . Giả thiết s(t) nhận giá trị si nếu s (t )  si , Với phân
bố xác suất 𝑝 𝑠𝑖 = 𝑤1 (𝑠𝑖 ). ∆𝑠.

Chuyển nguồn liên tục thành nguồn rời rạc

Như vậy, ta đã thực hiện chuyển nguồn liên tục S
thành nguồn rời rạc 𝑆 ′ :
𝑆 = 𝑠 𝑡 , 𝑤1 (𝑠) ↔ 𝑆 ′ = 𝑠𝑖 , 𝑝 𝑠𝑖 , 𝑖 = 1 ÷ 𝑛

Entropie của nguồn rời rạc

Entropie của tập các giá trị rời rạc theo định nghĩa
n
H ( S )   p ( si ) log p ( si )
i 1
Để tính Entropie của nguồn liên tục ta có thể viết:

n
H ( S )   w( s ).s log 2 [w( s ).s ]
i 1
n n
1 1
H ( S )   w( s ). s   w( s ).s log 2
i 1 log 2 w( s ) i 1 s
Chuyển nguồn rời rạc thành nguồn liên tục:

1 1
H ( S )  lim H ( S )   W ( s ) log ds  lim log
s 0

W (s) s 0 s
81
Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông
Nhận xét
- Số hạng thứ 2 trong biểu thức không phụ thuộc vào tính thống kê
của nguồn. Nó chỉ phản ánh độ chính xác của việc thu nhận tin
tức. Nếu ∆𝑠 càng nhỏ thì sai số khi thu lại tin càng nhỏ.
- Số hạng thứ nhất phản ánh bản chất thống kê của nguồn tin. Để
đặc trưng cho tính chất thống kê của nguồn hoặc để so sánh
chúng, người ta lấy số hạng thứ nhất làm Entropie của nguồn liên
tục. 
1
h( S )   W (s)log 2

W (s)
ds
h( S ) - Entropie vi phân của nguồn liên tục

82
 Thuộc tính
+ Entropie của nguồn liên tục có thể âm, dương nhưng các giá trị này là
hữu hạn.
+ Entropie của nguồn liên tục mang tính chất cộng như entropie của
nguồn rời rạc nhưng không cụ thể như entropie của nguồn rời rạc. Nói
cách khác nó chỉ được dùng để so sánh giữa các nguồn với nhau.
+ Entropie của nguồn liên tục phụ thuộc vào thang tỷ lệ
1
Nghĩa là nếu: s  a.s  W ( s)  W ( s )
a
 h( S )  h( S )  log a
83
2.6.3 CÁC THAM SỐ ĐẶC TRƯNG CỦA KÊNH LIÊN TỤC
 Kênh liên tục được coi là đã xác định nếu biết trước:
+ Trường dấu lối vào, ra và mật độ phần bố xác suất
S = {s(t), W(s)}, U = {u(t), W(u)}
+ Mật độ phần bố đồng thời của hai biến ngẫu nhiên
W2(su) hoặc W(u/s)
84
n(t)
Kênh liên tục đơn giản s(t) u(t)

Kênh liên tục
Phương trình mô tả kênh liên tục đơn giản:
u(t) = .s(t) + n(t) (2.27)
 - Hệ số truyền đạt của kênh
n(t) – Nhiễu cộng

- Nếu biết mật độ phân bố xác suất của nhiễu cộng, ta sẽ tính được
mật độ phân bố xác suất có điều kiện của tín hiệu lối ra kênh
W(u/s)
- Nếu tín hiệu lối ra kênh được xác định bởi (2.27), n(t) có phân bố
Gausse, kênh liên tục tương ứng với nó gọi là kênh Gausse.
 Nếu 𝜇 = 𝑐𝑜𝑛𝑠𝑡, các tham số của nhiễu cộng không thay đổi theo
thời gian, kênh tương ứng là kênh Gausse không đổi ( kênh rời rạc
không nhớ).
 Nếu 𝜇 và các tham số của nhiễu cộng không thay đổi theo thời
gian, kênh tương ứng là kênh Gausse thay đổi ( kênh có suy lạc).
86
2.6.4 LƯỢNG THÔNG TIN TRUYỀN QUA KÊNH LIÊN TỤC
KHÔNG NHỚ
 Xét kênh liên tục là kênh Gausse không đổi
S U
s(t ),W ( s) u (t ),W (u )
Phương trình tín hiệu lối ra kênh
u (t )   .s (t )  n(t )
Trong đó, μ = const, các tham số của nhiễu cộng không
thay đổi theo thời gian.
87
KHÔNG NHỚ
Rời rạc hóa các nguồn liên tục S, U

S  S   si p ( si ), i  1, n 
U  U   u j p (u ), j  1, m
j
Với điều kiện:
p ( si )  W ( s ) s, p (u j )  W (u ) u
p ( si u j )  W ( su ) su (2.28)
88
KHÔNG NHỚ
Lượng thông tin trung bình truyền qua kênh rời rạc:
n m p ( si / u j )
I ( S U )   p ( si u j )log 2
i 1 j 1 p ( si )
n m w( si / u j )
=  w( si u j )log 2 su
i 1 j 1 w( si ).w(u j )
Lượng thông tin truyền qua kênh liên tục không nhớ
 
W2 ( su )
I ( SU )  lim I ( S U ) 
s 0   W2 (su ) log
 
W ( s )W (u )
dsdu
u 0
 W2 ( su )  (2.29)
 M log 
 W ( s )W (u ) 
89
KHÔNG NHỚ
Ta có:
 1   W2 ( su ) 
I ( SU )  M log   M log 
 W ( s )   W (u ) 
  
1 W ( su )
  W ( s ) log ds    W2 ( su ) log 2 dsdu

W (s)  
W (u )
I ( SU )  h( S )  h( S / U ) (2.30)
Trong đó:
 
W2 ( su )
h( S / U )    W2 ( su ) log
 
W (u )
dsdu
 
1
   W2 (su ) log
 
W (s / u)
dsdu
h( S / U ) - Entropie vi phần của nguồn tin S khi biết nguồn tin U

90
KHÔNG NHỚ
Nhận xét
 Về mặt hình thức:
Lượng thông tin truyền qua kênh liên tục được xác định như
lượng thông tin truyền qua kênh rời rac.
I ( AB)  H ( A)  H ( A / B )
Lượng thông tin truyền qua kênh Gausse không đổi được xác
định bằng Entropie vi phân của nguồn trừ đi entropie vi phân
có điều kiện.
I ( SU )  h( S )  h( S / U )  h(U )  h(U / S )
 I ( SU ) Thỏa mãn điều kiện I ( SU )  0

I ( SU )  0 Nhiễu trầm trọng
 Kênh không nhiễu
91
2.6.5 THÔNG LƯỢNG CỦA KÊNH GAUSSE
Thông lượng kênh Gausse với đối số thời gian rời rạc
 Định nghĩa
Kênh Gausse không đổi với đối số thời gian rời rạc là kênh
Gausse không đổi có tín hiệu lối vào s(t) là hàm liên tục của
biến thời gian rời rạc.
Ta có thể coi tín s (t )
hiệu s(t) là một smax
chuỗi xung có độ
rộng ∆𝑡, chu kỳ
∆𝑡 , có biên độ
thay đổi trong smin
khoảng: o t
smin  smax t
92
 Khả năng thông qua của kênh
Theo định nghĩa:
C   Vk max I ( SU )
S ,U
Trong đó 1 1
Vk  
Tk t
Từ những quan điểm của kênh nêu trên ta dễ dàng thu được
kết quả như sau:

C   Vk max h(U )  log 2 2 epn
U


 Vk max h(U )  log 2 2 epn
U

93
 Khả năng thông qua của kênh
Dễ dàng thấy rằng
C
max[h(U )]  log 2 2 epu
1  p s 
 C   Vk log 1   (2.38)
2  pn  p s
0 4 8 pn
12
94
Thông lượng kênh Gausse với đối số thời gian liên tục trong
một dải tần hạn chế
Xét tín hiệu (nguồn) s(t) là tín hiệu liên tục với đối số thời
gian liên tục, có tần số cao nhất trong phổ của tín hiệu là F.
Dùng họ hàm trực giao:
sin 2 F (t  k t )
U k (t ) 
2 F (t  k t )
F: Tần số cao nhất trong phổ tín hiệu
Ta có thể biểu diễn s(t) dưới dạng là tổ hợp tuyến tính của
các hàm sơ cấp đơn giản:

s (t )   ckU k (t )
k 0
95
Thông lượng kênh Gausse với đối số thời gian liên tục trong
một dải tần hạn chế
ck - là hệ số của phép khai triển được xác định:


ck   s (t )U k (t )dt  s (k t )  s (k )

1
Nếu thỏa mãn t 
2F
Trong đó sk là các giá trị mẫu của tín hiệu s(t). Nghĩa là ta có
thể biểu diễn tín hiệu thông qua các giá trị mẫu của nó:
 sin 2 F (t  k t )
s (t )   s (k ).
k  2 F (t  k t )
96
Thông lượng kênh Gausse với đối số thời gian liên tục trong một
dải tần hạn chế
Như vậy, nguồn (tín hiệu) S gồm vô hạn các thể hiện s(t) được
thay thế bởi nguồn S ' gồm vô vàn các thể hiện với đối số thời
gian rời rạc sk
97
Thông lượng kênh Gausse với đối số thời gian liên tục trongmột
dải tần hạn chế
 Khả năng cho thông qua của kênh
1  p s 
C '  Vk log 1  
2  pn 
Trong đó 1 1 1
Vk   , t 
Tk t 2F
Vậy
 p s  p s
C '  F log 2 1    F log 2 (1  )
 pn  F .N 0
N 0 - Mật độ phổ công suất của nhiễu (tạp âm trắng, chuẩn)
98
Thông lượng kênh Gausse với đối số thời gian liên tục trong một dải
tần hạn chế
 Nhận xét
• Có thể thu chính xác được tín hiệu (Giữ được khả năng thông qua
của kênh) bằng cách mở rộng dải tần của tín hiệu. Bằng cách mở
rộng dải tần của tín hiệu, ta có thể thu chính xác tín hiệu ngay cả
khi tín hiệu chìm trong tạp âm.
• Công thức trên được được gọi là công thức Shannon. Nó chỉ áp
dụng được với kênh Gausse (kênh có tham số không đổi, chịu tác
động của nhiễu trắng chuẩn). Nếu mật độ phân bố xác suất của
nhiễu khác lệch chuẩn hoặc phổ của nhiễu trong dải thông của
kênh không đều, hoặc ngoài nhiễu cộng còn có nhiễu nhân thì
công thức trên không áp dụng được.
99
dải tần vô hạn
Khả năng cho thông qua của kênh Gausse với đối số thời gian
liên tục như trình bày ở trên:
p s
C '  F log 2 (1  )
F .N 0
Khi F=0
 p s 
C0  lim C '  lim F .log 2 1  
F 0 F 0
 F . N o 
 p s 
log 1  
 lim  F . N o 
0
F 0 1
F 100
Khi F  
F
 p s 
C  lim C '  lim F .log 2 1  
F  F 
 F . N o 
Đặt p s p s
 F 
F .N 0  N0
p s
p s 1 
C  lim log 2 (1   ) F . No
 lim log 2 ( )
 0 No  0 
p s p s
= log 2 e  1, 443
No No
101
 Nhận xét
• Khả năng thông qua của kênh Gausse với đối số thời gian liên
tục bị chặn trên bởi giá trị 1, 443 p
s
N0
Nói cách khác
p s
0  C '  1, 443.
N0
102
Thông lượng kênh Gausse với đối số thời gian liên tục trong một dải
tần vô hạn
 Nhận xét
• Việc tăng quá mức dải tần (bề rộng phổ) của tín hiệu hoặc dải thông
của kênh là không cần thiết vì sự tăng thông lượng của kênh tới một
giá trị nào đó là rất chậm.
• Trong mọi trường hợp, tạp âm nhiệt luôn tồn tại trong mọi hệ vật
chất. Vì vậy, nó cũng tồn tại trong bất cứ kênh liên lạc nào khác.
Mật độ phổ của tạp âm nhiệt: N 0  k .T
Trong đó k là hằng số Boltzman
T là nhiệt độ Kelvin
103
Tóm lại
 Khả năng phát tin của nguồn liên tục có thể là vô hạn, nhưng
khả năng cho thông qua của kênh là hữu hạn.
 Nghĩa là không thể thu chính xác được tín hiệu mà bao giờ
cũng có sự mất mát thông tin.
104
BÀI TẬP
1. Có ba hộp đựng bút chì màu: Hộp A gồm 9 bút màu xanh, 9 bút màu
đỏ, 12 bút màu vàng. Hộp B gồm 9 bút màu xanh, 10 bút màu đỏ, 11 bút
màu vàng. Hộp C gồm 11 bút màu xanh, 12 bít màu đỏ, 7 bút màu vàng.
Rút ngẫu nhiên từ mỗi hộp ra một chiếc bút, hỏi phép rút nào có độ bất
định lớn nhất.
2. Có 81 đồng tiền xu cùng mệnh giá, trong đó có một đồng xu giả (có
trọng lượng lớn hơn). Để xác định đồng tiền giả ta sử dụng một chiếc cân
bàn. Tính số lần cân trung bình tối thiểu để tìm ra đồng tiền giả, chỉ ra
thuật toán cân.

BÀI TẬP
3. Một hộp đựng linh kiện điên tử gồm các IC cùng loại (các IC tương
đương) trong đó: 10% là của Nhật bản, 50% là của Mỹ, 40% là của Trung
quốc. Biết tỷ lệ IC hỏng của Trung quốc là 2%, Nhật bản là 3%, Mỹ là 1%.
Lấy ngẫu nhiên 1 IC để lắp mạch.
a) Tìm lượng thông tin chứa trong biến cố lấy phải một IC hỏng.
b) Tìm lượng thông tin chứa trong biến cố khi lấy phải IC hỏng là của Mỹ.
106
BÀI TẬP
4. Một thiết bị vô tuyến điện có 8 thiết bị có độ tin cậy như nhau và được
mắc nối tiếp với nhau. Để tìm ra sự hỏng hóc của mỗi khối, người ta dung
thiết bị đo và kiểm tra tín hiệu ở đầu ra của mỗi khối.
a) Tính số lần đo trung bình tối thiểu để tìm ra một khối hỏng.
b) Trình bày thuật toán đo.
107
BÀI TẬP
5. Một kênh rời rạc đối xứng nhị phân có nhiễu, đồng nhất, không nhớ. Với giả
thiết, p(a1 )  2 /13 . Do có nhiễu nên xác suất thu đúng mỗi tin chỉ còn 10/11.
Hãy tính: a1 b1
a) Lượng thông tin tương hỗ I (a1b1 ), I (a2b2 )
b) Tìm lượng thông tin tổn hao H(A/B). a2 b2
c) Tính lượng thông tin truyền qua kênh truyền I(AB)
d) Tính lượng thông tin H ( A / b j )

BÀI TẬP
6. Mô hình kênh truyền tin nhị phân đối xứng, đồng nhất, có nhiễu có
xóa, được cho như sau:
Cho biết: p (a1 )  2 / 5 , do có nhiễu nên xác suất thu đúng còn 12/13,
p (b3 / a1 )  p (b3 / a2 )  1/125
a) Tính lượng thông tin tương hỗ I (a1b1 ), I (a2b2 )
b) Tính lượng thông tin tổn hao H(A/B)
c) Tính thông lượng kênh rời rạc biết tốc độ truyền tin qua kênh là Vk
109
BÀI TẬP
7. CMR trong số các đại lượng ngẫu nhiên liên tục có kỳ vọng bằng 0,
phương sai đã biết. Đại lượng ngẫu nhiên có phân bố chuẩn (Phân
bố Gausse): s2

1
W( s )  e 2 2
2 2
Cho Entropie vi phân cực đại và giá trị cực đại đó bằng:
h( s )  log 2 2 e 2
110
BÀI TẬP
8. CMR trong số các đại lượng ngẫu nhiên liên tục có kỳ vọng
cho trước, mật độ phân bố xác suất triệt tiêu với s  0 . Đại
lượng ngẫu nhiên có phân bố xác suất theo luật hàm mũ:
w( s )  .e   .s
e
Cho Entropie vi phân cực đại và giá trị đó là: h( s )  log 2

111
BÀI TẬP
9. CMR ta có thể biểu diễn (khôi phục lại) tín hiệu thông qua
s
các giá trị mẫu: k của tín hiệu rời rạc.
 sin 2 F (t  k t )
s (t )   s (k ).
k   F (t  k t )
1
Nếu tần số lấy mẫu Ts thỏa mãn: Ts  t 
2F
F là tần số cao nhất trong phổ tín hiệu
112

BG CSLTTT c1

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

BG CSLTTT c1

Uploaded by

Copyright:

Available Formats

CƠ SỞ LÝ THUYẾT TRUYỀN TIN

MÔN HỌC DÀNH CHO CÁC ĐỐI TƯỢNG

Dạng sóng số (PSK)

Dạng sóng số (QPSK)

Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 77

khoảng (smin ÷ smax)

 Để xác định Entropie của nguồn liên tục:

- Thực hiện chuyển nguồn liên tục thành

nguồn rời rạc.

- Tính Entropie của nguồn rời rạc.

- Chuyển nguồn rời rạc thành nguồn liên tục.

Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 78

Chuyển nguồn liên tục thành nguồn rời rạc

Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 79

Chuyển nguồn liên tục thành nguồn rời rạc

Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 80

Entropie của nguồn rời rạc

Để tính Entropie của nguồn liên tục ta có thể viết:

h( S ) - Entropie vi phân của nguồn liên tục

+ Trường dấu lối vào, ra và mật độ phần bố xác suất

S = {s(t), W(s)}, U = {u(t), W(u)}

+ Mật độ phần bố đồng thời của hai biến ngẫu nhiên

W2(su) hoặc W(u/s)

Kênh liên tục đơn giản s(t) u(t)

u(t) = .s(t) + n(t) (2.27)

 - Hệ số truyền đạt của kênh

n(t) – Nhiễu cộng

Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 85

 Xét kênh liên tục là kênh Gausse không đổi

Phương trình tín hiệu lối ra kênh

Rời rạc hóa các nguồn liên tục S, U

Với điều kiện:

h( S / U ) - Entropie vi phần của nguồn tin S khi biết nguồn tin U

 I ( SU ) Thỏa mãn điều kiện I ( SU )  0

ck - là hệ số của phép khai triển được xác định:

Nói cách khác

Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 105

b) Trình bày thuật toán đo.

a) Lượng thông tin tương hỗ I (a1b1 ), I (a2b2 )

b) Tìm lượng thông tin tổn hao H(A/B). a2 b2

c) Tính lượng thông tin truyền qua kênh truyền I(AB)

d) Tính lượng thông tin H ( A / b j )

Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 108

You might also like