Machine Translated by Google

Lý thuyết thông tin

Phân vùng tiệm cận
TS Lê Nguyên Khôi
Trường Đại học Kỹ thuật Công nghệ, ĐHQGHN
Machine Translated by Google

Nội dung

Luật số lớn Thuộc

tính phân chia tiệm cận (AEP) Tập hợp
điển hình Tập hợp không điển hình (không
điển hình)

1
Lê Nguyên Khôi Lý thuyết thông tin
Machine Translated by Google

Luật số lớn

Trong lý thuyết xác suất

Giá trị trung bình của mẫu gần với giá trị mong đợi

VD: Tính chiều cao trung bình của người lớn

Infeasible: đo chiều cao trung bình của tất cả người lớn

Khả thi:

Xác định độ cao trung bình của từng vùng

thông qua lấy mẫu
Tính giá trị trung bình của các chiều cao trung bình này

Xấp xỉ chiều cao trung bình của dân số

Lê Nguyên Khôi Lý thuyết thông tin 2

Machine Translated by Google

Luật số lớn

Được phân phối độc lập, giống hệt nhau {}

1
trung bình mẫu = = 1

var 2
var = =

Khi tăng, var giảm, trở thành nhóm xung quanh

dân số có nghĩa là ()

Lê Nguyên Khôi Lý thuyết thông tin 3

Machine Translated by Google

Luật số lớn

Giá trị kỳ vọng của một biến ngẫu nhiên là

bằng giá trị trung bình dài hạn khi lấy mẫu
lặp lại
Luật số lớn (LLN)

thăm dò

> 0, -> ∞
0

Lê Nguyên Khôi Lý thuyết thông tin 4

Machine Translated by Google

Sự hội tụ của chức năng

Người ta nói rằng hội tụ ( ) nếu

∞

> 0, sao cho > , - <

Ví dụ: cho = ± 2 - và = 0
chọn = - nhật ký

Lê Nguyên Khôi Lý thuyết thông tin 5

Machine Translated by Google

Sự hội tụ của biến ngẫu nhiên

Sự hội tụ trong xác suất (yếu hơn sự

hội tụ của hàm)
Luật
thăm dò

> 0, -> 0

Vd: 0; 1 , = 1 - 1
, 1

∞
1
cho bất kỳ thăm dò , > = 0
nhỏ nào
vì thế
0 (nhưng 0)

Lê Nguyên Khôi Lý thuyết thông tin 6

Machine Translated by Google

Bộ điển hình - Ví dụ

=; ; ; ; = 0,5; 0,25; 0,125; 0,125

- log = 1; 2; 3; 3 = 1,75 bit

Giá trị (iid) độc lập, phân phối giống nhau

của mẫu 8 :
Điển hình: tỷ lệ chính xác

- nhật ký = 14 = 8 × 1,75 = ()

Không điển hình: - log ()

- nhật ký = 24 ()

Lê Nguyên Khôi Lý thuyết thông tin 7

Machine Translated by Google

Bộ điển hình

Có thể chia tập hợp tất cả các dãy thành hai

tập hợp:

tập hợp điển hình, trong đó entropy mẫu gần với

entropy thực
tập hợp không điển hình, chứa cái khác
trình tự

Phần lớn sự chú ý của chúng tôi sẽ tập trung vào các

trình tự
bất kỳ tính chất nào được chứng minh cho các trình
tự điển hình sau đó sẽ đúng với xác suất cao và sẽ
xác định hành vi trung bình của một mẫu lớn

Lê Nguyên Khôi Lý thuyết thông tin

số 8
Machine Translated by Google

Thuộc tính trang bị tiệm cận (AEP)

là dãy iid {} với 1 ≤ ≤ Xác suất

của một dãy là

= ()
= 1

Trung bình

- nhật ký = - nhật ký = ()

Lê Nguyên Khôi Lý thuyết thông tin 9

Machine Translated by Google

Thuộc tính trang bị tiệm cận - Bằng chứng

1
- thăm dò

khúc gỗ ()

1 1
- = - =
khúc gỗ khúc gỗ

= 1

= - nhật ký = ()
thăm dò

Theo Luật Số lớn:

1 thăm dò
- khúc gỗ ()

Lê Nguyên Khôi Lý thuyết thông tin 10

Machine Translated by Google

Tập hợp điển hình - Định nghĩa

Đối với hữu hạn

, bộ điển hình được định nghĩa là

= : - 1
khúc gỗ - () <

Ví dụ
Bernoulli với = 1 =
2 4
0 1 1 0 0 0 = (1 -)
cho = 0,2, = 0,72 bit
Thanh màu đỏ hiển thị = 0,1

11
Lê Nguyên Khôi Lý thuyết thông tin
Machine Translated by Google

Tập hợp điển hình - Thuộc tính

Xác suất chuỗi riêng lẻ :

2 - ( +) ≤ ( 1, 2,…,) ≤ 2 - ( -)

- ≤ - nhật ký ≤ +

Tổng xác suất:

( )> 1 - với>
Kích thước:

-
1 - 2 < ≤ 2 +

Lê Nguyên Khôi Lý thuyết thông tin 12

Machine Translated by Google

Tập hợp điển hình - Thuộc tính (1)

Xác suất chuỗi riêng lẻ :

2 - ( -)
+) ≤ ( 1, 2,…,) ≤ 2 - (

- ≤ - nhật ký ≤ +
Từ định nghĩa:

- 1
khúc gỗ - () <

- ≤ -
1 - ≤
khúc gỗ

1
- ≤ - khúc gỗ
≤ +

- ≤ - nhật ký ≤ +

Lê Nguyên Khôi Lý thuyết thông tin 13

Machine Translated by Google

Bộ điển hình - Thuộc tính (2)

Tổng xác suất:

( )> 1 - cho>

->
thăm dò

Bởi LLN: > 0, 0

∞

1 1 thăm dò
- = -
khúc gỗ khúc gỗ - nhật ký = ()
= 1

do đó > 0 sao cho >

- 1 - <> 1 -
khúc gỗ

Lê Nguyên Khôi Lý thuyết thông tin 14

Machine Translated by Google

Bộ điển hình - Thuộc tính (3)

Kích thước

1 - 2 - < ≤ 2 +

Theo tính chất 2 (tổng xác suất)

1 - <( )

Theo thuộc tính 1 (xác suất riêng lẻ)

2 - (+) ≤ ( 1, 2,…,) ≤ 2 - ( -)

thay thế bằng chuỗi có xác suất cao nhất

- -
( ) ≤ 2 - = 2 -

Lê Nguyên Khôi Lý thuyết thông tin 15

Machine Translated by Google

Bộ điển hình - Thuộc tính (3)

Kích thước

1 - 2 - < ≤ 2 +

Theo thuộc tính 1 (xác suất riêng lẻ)

2 - (+) ≤ ( 1, 2,…,) ≤ 2 - ( -)

thay thế bằng chuỗi có xác suất thấp nhất

1 = ≥ +
() ≥ 2 -

+
= 2 -

Lê Nguyên Khôi Lý thuyết thông tin 16

Machine Translated by Google

Nén dữ liệu - Hậu quả của AEP

Hãy để {} iid các biến ngẫu nhiên được rút ra từ

chức năng có thể xảy ra tập trung

Tìm mô tả ngắn cho các chuỗi

biến ngẫu nhiên

Chia tất cả các chuỗi trong thành hai bộ:

Nhóm tiêu có 2 + các yếu tố

biểu Nhóm không tiêu biểu, còn lại

Tổng phần tử

Lê Nguyên Khôi Lý thuyết thông tin 17

Machine Translated by Google

Nhóm điển hình / Nhóm không điển hình

Lê Nguyên Khôi Lý thuyết thông tin 18

Machine Translated by Google

Hệ quả mã hóa

Nhu cầu thiết lập điển hình (bit)

′ 0 ′ + nhiều nhất là 1 + +
Nhu cầu bộ không điển hình (bit)

′ 1 ′ + nhiều nhất là 1 +

log Độ dài mã trung bình

≤ 2 + +
+ 2 +
≤ 2 + log + + 2 +
= log + + log + 2 (+ 1
)
= ( + ′1 )

Lê Nguyên Khôi Lý thuyết thông tin 19

Machine Translated by Google

Nén dữ liệu

Lê Nguyên Khôi Lý thuyết thông tin 20

Machine Translated by Google

Mã nguồn & Nén dữ liệu

Tồn tại một mã ánh xạ các chuỗi có độ dài

thành chuỗi nhị phân vì ánh xạ là một-một (và
do đó có thể giải mã được)
Các trình tự điển hình có mô tả ngắn về độ dài
≈ Độ dài dự kiến của từ mã là

= ()

Lê Nguyên Khôi Lý thuyết thông tin 21