MÔN HỌC

LÝ THUYẾT THÔNG TIN

Giáo Viên: Trần Trung Duy

Học Viện Công Nghệ Bưu Chính Viễn Thông TP. Hồ Chí Minh.
Email: trantrungduy@ptithcm.edu.vn.
Điện Thoại: 0938967217.
 Nội Dung
 Chương 1: Giới thiệu chung
 Chương 2: Lý thuyết thông tin thống kê
 Chương 3: Mã hoá nguồn
 Chương 4: Mã hóa kênh
 Tài Liệu Chính
[1] GS.TS. Nguyễn Bình, Lý thuyết thông tin, Nhà xuất
bản Bưu Điện, 2007.
[2] Nguyễn Thúy Vân, Lý thuyết mã, NXB KHKT, năm
2006
[3] Vũ Ngọc Phàn, Lý thuyết thông tin và mã hóa, NXB
Bưu điện, năm 2006
[4] Đặng Văn Chuyết, Cơ sở lý thuyết tryền tin, NXB
Giáo dục, năm 2001
[5] Trần Trung Dũng, Lý thyết truyền tin, NXB KH &
KT, năm 2007.
 Đánh Giá
• Điểm bài tập: 10%
• Kiểm tra giữa kì + Chuyên cần: 20%
• Kiểm tra cuối kì: 70%
 Giới Thiệu Chung
 Cơ sở xác suất thống kê

• Hiện tượng tất yếu: là những hiện tượng nếu được thực
hiện ở điều kiện giống nhau thì kết quả giống nhau.
Hiện tượng tất yếu là đối tượng nghiên cứu của Vật lý,
Hóa học
• Ví dụ: Đun nước đến 1000C thì nước sôi.
 Giới Thiệu Chung
 Cơ sở xác suất thống kê
• Hiện tượng ngẫu nhiên: là những hiện tượng dù đã
được quan sát ở điều kiện giống nhau, nhưng kết quả
có thể khác nhau.
• Các kết quả này không thể dự báo chắc chắn được.
• Một phép thử thường được lặp lại nhiều lần.
• Ví dụ: Tung đồng xu, và quan sát “Sấp” hay “Ngửa”.
 Giới Thiệu Chung
 Cơ sở xác suất thống kê
• Không gian mẫu: Tập hợp tất cả các kết quả có thể xảy
ra khi thực hiện phép thử gọi là không gian mẫu (hay
không gian biến cố sơ cấp).
• Mỗi kết quả của phép thử, gọi là biến cố sơ cấp
• Ví dụ: tung xúc sắc
• Không gian mẫu: Ω ={1, 2,3, 4,5,6}
• Biến cố sơ cấp: = { i 1, 2,3, 4,5,6}
ωi i =
 Giới Thiệu Chung
 Cơ sở xác suất thống kê
• Xác suất: Xác suất là một con số đo lường mức độ xảy
ra của một biến cố.
• Định nghĩa cổ điển: Xác suất của biến cố A là tỷ số
giữa số phần tử của A và số phần tử của không gian
mẫu:
| A|
P ( A) =
|Ω|
• Chỉ dùng trong trường hợp không gian mẫu hữu hạn
 Giới Thiệu Chung
 Cơ sở xác suất thống kê

• Định nghĩa theo quan điểm thống kê

n( A)
P( A) = lim
n →∞ n
 Giới Thiệu Chung
 Cơ sở xác suất thống kê
• Thí nghiệm tung đồng xu

Người thí Số lần Số lần Tần

nghiệm tung sấp suất
Buffon 4040 2048 0.5080
Pearson 12000 6019 0.5016
Pearson 24000 12012 0.5005
 Giới Thiệu Chung
 Cơ sở xác suất thống kê
• Biến ngẫu nhiên: Biểu diễn định lượng các kết quả của
thí nghiệm ngẫu nhiên.
• Biến ngẫu nhiên rời rạc: có miền giá trị là tập hữu hạn
hoặc vô hạn đếm được.
• Ví dụ: số người mua hàng tại siêu thị …
• Biến ngẫu nhiên liên tục: Có miền giá trị là R hoặc một
tập con của R.
• Ví dụ: tuổi thọ bóng đèn, chiều cao, cân nặng …
 Giới Thiệu Chung
 Cơ sở xác suất thống kê
• Hàm phân phối xác suất: Cho biến ngẫu nhiên X, hàm
phân phối xác suất của X, ký hiệu FX(x) được định
nghĩa như sau:

F=
X ( x) Pr ( X ≤ x )
• Xác suất X nằm trong đoạn (a,b]

Pr(a < X ≤ b=
) FX (b) − FX (a )
 Giới Thiệu Chung
 Cơ sở xác suất thống kê
• Hàm mật độ xác suất: Xét biến ngẫu nhiên liên tục X
có hàm mật độ xác suất fX (x) thì
x
) Pr ( X ≤ x=
FX ( x= ) ∫ f X (u )du
−∞

• hay
∂FX ( x )
fX ( x) =
∂x
 Giới Thiệu Chung
 Cơ sở xác suất thống kê
 Kỳ vọng toán học: giá trị trung bình theo xác suất của
tất cả các giá trị có thể có của biến ngẫu nhiên, ký hiệu
E{X}.
 Kỳ vọng phản ánh giá trị trung tâm của phân phối xác
suất.
 Ví dụ: Kỳ vọng toán học của một biến ngẫu nhiên liên
tục:
+∞
= {X }
µ E= ∫−∞
xf X ( x ) dx
 Giới Thiệu Chung
 Cơ sở xác suất thống kê
 Phương sai: Biểu thị độ phân tán của các giá trị của
biến ngẫu nhiên xung quanh giá trị trung bình của nó.
Nếu phương sai bé thì các giá trị của X tập trung gần
trung bình.

{X } E
σ Var=
= 2
{( X − E { X }) }2

= E { X 2 } − ( E { X }) 2
 Giới Thiệu Chung
 Cơ sở xác suất thống kê
 Ví dụ: Phương sai của biến ngẫu nhiên rời rạc

E{X } − ( E { X }) =∑ x
n
Var { X } =
2
σ =
2 2 2
i pi − µ 2

i =1

 Ví dụ: Phương sai của biến ngẫu nhiên liên tục

+∞ +∞
Var { X } =
σ = ∫( )− µ ∫
= − µ
2 2 2 2
x f ( x ) dx x f ( x ) dx
−∞ −∞
 Giới Thiệu Chung
 Cơ sở xác suất thống kê

• Độ lệch chuẩn: Độ lệch tiêu chuẩn của một biến ngẫu

nhiên, là căn bậc hai của phương sai.

σ
= σ
= 2
Var { X }
 Giới Thiệu Chung
 Cơ sở xác suất thống kê
• Xác suất có điều kiện:
• Xác suất có điều kiện P(A|B) của sự kiện A với điều
kiện sự kiện B đã xảy ra
P(AB)
P(A | B) =
P(B)

⇒ P(AB)
= P(A | B) P(B)
= P(B | A) P(A)
 Giới Thiệu Chung
 Cơ sở xác suất thống kê
• Định lý Bayes

P (ABi ) P (A | Bi ) P(Bi )
=
P(Bi
| A) = n
P (A) ∑ P(A | B ) P(B )
k =1
k k

• A và B độc lập

P(AB) = P(A) P(B)

 Giới Thiệu Chung
 Ví dụ:
Chúng ta có 4 hộp
- Hộp 1 chứa 2000 sản phẩm và 5% bị hư
- Hộp 2 chứa 500 sản phẩm và 40% bị hư
- Hộp 3 và hộp 4 chứa 1000 sản phẩm và 10% bị hư
Chọn ngẫu nhiên một hộp và lấy ra một sản phẩm
a/ Xác suất sản phẩm lấy ra là sản phẩm hư
b/ Xác suất sản phẩm lấy ra bị hư và thuộc hộp 2
 Giới Thiệu Chung
 Ví dụ:
Một xét nghiệm có độ chính xác là 95%. Một người làm
bài xét nghiệm cho kết quả là dương tính. Người làm
xét nghiệm thuộc một khu vực có 100000 người với
2000 người bị bệnh. Tính xác suất người làm xét
nghiệm bị bệnh cho trước kết quả là dương tính.