SLIDESHOW

MÔN HỌC
LÝ THUYẾT THÔNG TIN
 Nội Dung

 Chương 1: Giới thiệu chung

 Chương 2: Lý thuyết thông tin thống kê
 Chương 3: Mã hoá nguồn
 Chương 4: Mã hóa kênh
 Tài Liệu Chính
[1] GS.TS. Nguyễn Bình, Lý thuyết thông tin, Nhà xuất
bản Bưu Điện, 2007.
[2] Nguyễn Thúy Vân, Lý thuyết mã, NXB KHKT, năm
2006
[3] Vũ Ngọc Phàn, Lý thuyết thông tin và mã hóa, NXB
Bưu điện, năm 2006
[4] Đặng Văn Chuyết, Cơ sở lý thuyết tryền tin, NXB
Giáo dục, năm 2001
[5] Trần Trung Dũng, Lý thyết truyền tin, NXB KH &
KT, năm 2007.
 Đánh Giá
• Điểm chuyên cần: 10%
• Điểm bài tập: 10%
• Kiểm tra giữa kì: 10%
• Kiểm tra cuối kì: 70%
 Ôn Tập Xác Suất Thống Kê

• Hiện tượng tất yếu: là những hiện tượng nếu được thực
hiện ở điều kiện giống nhau thì kết quả giống nhau.

Hiện tượng tất yếu là đối tượng nghiên cứu của Vật lý,
Hóa học

• Ví dụ: Đun nước đến 1000C thì nước sôi.

 Ôn Tập Xác Suất Thống Kê
• Hiện tượng ngẫu nhiên: là những hiện tượng dù đã
được quan sát ở điều kiện giống nhau, nhưng kết quả
có thể khác nhau.

• Các kết quả này không thể dự báo chắc chắn được.

• Một phép thử thường được lặp lại nhiều lần.

• Ví dụ: Tung đồng xu, và quan sát “Sấp” hay “Ngửa”.

 Ôn Tập Xác Suất Thống Kê
• Không gian mẫu: Tập hợp tất cả các kết quả có thể xảy
ra khi thực hiện phép thử gọi là không gian mẫu (hay
không gian biến cố sơ cấp).
• Mỗi kết quả của phép thử, gọi là biến cố sơ cấp
• Ví dụ: tung xúc sắc
• Không gian mẫu:    1, 2,3, 4,5,6
• Biến cố sơ cấp: i  i  i  1,2,3, 4,5,6
 Ôn Tập Xác Suất Thống Kê
• Xác suất: Xác suất là một con số đo lường mức độ xảy
ra của một biến cố.

• Định nghĩa cổ điển: Xác suất của biến cố A là tỷ số

giữa số phần tử của A và số phần tử của không gian
mẫu:
| A|
P  A 
||
• Chỉ dùng trong trường hợp không gian mẫu hữu hạn
 Ôn Tập Xác Suất Thống Kê

• Định nghĩa theo quan điểm thống kê

n( A)
P( A)  lim
n  n

• Xác suất của sự kiện A bằng số lần xuất hiện sự kiện A

(n(A)) chia cho số phép thử n.
• Điều kiện: số phép thử n phải đủ lớn.
 Ôn Tập Xác Suất Thống Kê
• Thí nghiệm tung đồng xu

Người thí Số lần Số lần Tần

nghiệm tung sấp suất
Buffon 4040 2048 0.5080
Pearson 12000 6019 0.5016
Pearson 24000 12012 0.5005

• Nhận xét: Số phép thử cần đủ lớn để xác suất xuất hiện
mặt sấp hội tụ về 0.5.
 Ôn Tập Xác Suất Thống Kê
• Biến ngẫu nhiên: Biểu diễn định lượng các kết quả của
thí nghiệm ngẫu nhiên.
• Biến ngẫu nhiên rời rạc: có miền giá trị là tập hữu hạn
hoặc vô hạn đếm được.
• Ví dụ: số người mua hàng tại siêu thị …
• Biến ngẫu nhiên liên tục: Có miền giá trị là R hoặc một
tập con của R.
• Ví dụ: tuổi thọ bóng đèn, chiều cao, cân nặng …
 Ôn Tập Xác Suất Thống Kê
• Hàm phân phối tích luỹ (CDF: Cumulative
Distribution Function): Cho biến ngẫu nhiên X, hàm
phân phối xác suất của X, ký hiệu FX(x) được định
nghĩa như sau:
FX ( x)  Pr  X  x 

• Xác suất X nằm trong đoạn (a,b]

Pr(a  X  b)  FX (b)  FX (a)
 Ôn Tập Xác Suất Thống Kê
 Tính chất hàm phân phối tích luỹ:
1. 0  FX ( x)  1
2. FX(x) là một hàm không giảm: a < b, FX(a)  FX(b).
3. FX ()  xlim

FX ( x)  0

4. FX ()  xlim

FX ( x)  1
 Ôn Tập Xác Suất Thống Kê
 Biến ngẫu nhiên rời rạc: đại lượng ngẫu nhiên rời rạc X
có thể nhận các giá trị x1 , x2 , …, xn. Xác suất để X
nhận giá trị xi là pi.
 Bảng phân phối xác suất:
X x1 x2 … xn n

P p1 p2 … pn
p
i=1
i =1

FX (y)   pi
xi  y
 Ôn Tập Xác Suất Thống Kê
 Biến ngẫu nhiên rời rạc: đại lượng ngẫu nhiên rời rạc X
có thể nhận các giá trị x1 , x2 , …, xn. Xác suất để X
nhận giá trị xi là pi.

0 , x  x1
p ,x  x  x
 1 1 2
 p1  p2 , x2  x  x3
F ( x)  P( X  x)  
...
 p1  p2  pn 1 , xn 1  x  xn

1 , x  xn
 Ôn Tập Xác Suất Thống Kê
• Hàm mật độ xác suất (PDF: Probability Density
Function): Xét biến ngẫu nhiên liên tục X có hàm mật
độ xác suất fX (x) thì
x
FX ( x)  Pr  X  x    f X (u )du


• hay
FX  x 
fX  x 
x
 Ôn Tập Xác Suất Thống Kê
 Tính chất của hàm mật độ xác suất
1. f X ( x)  0

b
2.  f X  u  du FX (b)  FX  a 
a



3. 

f ( x)dx  1
 Ôn Tập Xác Suất Thống Kê

 Kỳ vọng toán học: giá trị trung bình theo xác suất của
tất cả các giá trị có thể có của biến ngẫu nhiên, ký hiệu
E{X}.

 Kỳ vọng phản ánh giá trị trung tâm của phân phối xác
suất.
 Ôn Tập Xác Suất Thống Kê
 Kỳ vọng toán học của một biến ngẫu nhiên rời rạc.
 Bảng phân phối xác suất:

X x1 x2 … xn
P p1 p2 … pn

n
X  E  X    xi pi
i 1
 Ôn Tập Xác Suất Thống Kê
 Kỳ vọng toán học của một biến ngẫu nhiên liên tục:

X  E X   xf X  x  dx


 Nhắc lại: f X  x  là hàm mật độ xác suất của X.

 Ôn Tập Xác Suất Thống Kê
 Phương sai: Biểu thị độ phân tán của các giá trị của
biến ngẫu nhiên xung quanh giá trị trung bình của nó.
Nếu phương sai bé thì các giá trị của X tập trung gần
trung bình.

  Var  X   E
2
  X  E X  
2

= E X   (E  X  )
2 2

 E X    X 
2
2
 Ôn Tập Xác Suất Thống Kê

 Ví dụ: Phương sai của biến ngẫu nhiên rời rạc

 
n
  Var  X   E  X    E X    x
2 2
2 2
i
2
pi  X
i 1

 Ví dụ: Phương sai của biến ngẫu nhiên liên tục

 

 
2
  Var  X     x   x
2
2
f ( x )dx  2
f ( x )dx  X
 
 Ôn Tập Xác Suất Thống Kê

• Độ lệch chuẩn: Độ lệch tiêu chuẩn của một biến ngẫu

nhiên, là căn bậc hai của phương sai.

    Var  X 
2
 Ôn Tập Xác Suất Thống Kê
• Xác suất có điều kiện:
• Xác suất có điều kiện P(A|B) của sự kiện A với điều
kiện sự kiện B đã xảy ra
P (AB)
P (A | B) 
P (B)

 P(AB)  P(A | B) P(B)  P(B | A) P(A)

 Ôn Tập Xác Suất Thống Kê

• Định lý Bayes
P(ABi ) P(A | Bi ) P(Bi )
P(Bi | A)   n
P(A)  P(A | B ) P(B )
k k
k 1

• A và B độc lập

P(AB)  P(A) P(B)

 Ôn Tập Xác Suất Thống Kê
 Bài tập 1.1
Cho biến ngẫu nhiên X rời rạc có bảng phân phối xác
suất như sau:
X 1 2 3 4 5

pi 0.05 0.2 0.35 0.25 0.15

a) Tính giá trị trung bình của X.

b) Tính giá trị của X2.
c) Tính giá trị trung bình của loge(X) (ln(X)).
 Ôn Tập Xác Suất Thống Kê
 Bài tập 1.2
Rút ngẫu nhiên 03 lá bài từ bộ bài 52 lá:
a) Tính xác suất cả 03 lá bài giống nhau (cùng số nút
hoặc cùng là J, Q hoặc K).
b) Tính xác suất cả 03 lá bài đồng chất
c) Tính xác suất cả 03 lá bài có hình mặt người
 Ôn Tập Xác Suất Thống Kê
 Bài tập 1.3
Cho biến ngẫu nhiên X liên tục có phân phối đều và
hàm phân bố tích luỹ CDF là:
1, x  2
x

FX  x    , 0  x  2
2
0, x  0
a) Tìm hàm mật độ xác suất (PDF) của X.
b) Tính giá trị trung bình của X.
c) Tính phương sai của X.
 Ôn Tập Xác Suất Thống Kê
 Bài tập 1.4
Cho biến ngẫu nhiên X liên tục có hàm phân bố tích
luỹ CDF:
1  exp   x  , x  0
FX  x   
0, x0
với exp   x   e và  là hằng số lớn hơn 0.
x

a) Tìm hàm mật độ xác suất (PDF) của X.

b) Tính giá trị trung bình của X.
c) Tính phương sai của X.