lec03 dịch

Machine Translated by Google
Lý thuyết thông tin

Sự hỗn loạn
TS. Lê Nguyên
Khôi Trường Đại học Công nghệ, ĐHQGHN
Nội dung
Entropy
Entropy chung và entropy có điều kiện
Entropy tương đối và thông tin lẫn nhau
Quy tắc chuỗi cho entropy, entropy tương đối
và thông tin lẫn nhau
Bất bình đẳng Jensen và hệ quả
1
Lê Nguyên Khôi Lý thuyết thông tin
Lý thuyết thông tin nghiên cứu việc định

lượng, biểu diễn và truyền đạt thông tin
Thông tin là gì?
Từ điển tiếng Anh Oxford nói:

dữ kiện được cung cấp hoặc học được về điều gì đó hoặc
người nào
những gì được truyền đạt hoặc đại diện bởi một sự sắp
xếp hoặc chuỗi sự vật cụ thể
Lê Nguyên Khôi Lý thuyết thông tin 2

Thông tin là gì
Websters nói:
giao tiếp hoặc tiếp nhận kiến thức hoặc trí thông minh
kiến thức thu được từ điều tra, nghiên cứu hoặc hướng dẫn.
thuộc tính vốn có và được giao tiếp bởi một trong hai hoặc
nhiều trình tự hoặc sự sắp xếp thay thế của một cái gì đó tạo ra các hiệu
ứng cụ thể
một tín hiệu hoặc ký tự đại diện cho dữ liệu
cái gì đó (dưới dạng tin nhắn, dữ liệu thử nghiệm hoặc hình ảnh)
biện minh cho sự thay đổi trong một cấu trúc (như một kế hoạch hoặc lý
thuyết) thể hiện trải nghiệm thể chất hoặc tinh thần hoặc một cấu trúc khác
một thước đo định lượng về nội dung của thông tin; cụ thể: một đại lượng số
đo lường độ không chắc chắn trong kết quả của một thử nghiệm sẽ được thực
hiện

Thông tin là gì
Wikipedia nói:
Thông tin theo nghĩa kỹ thuật hạn chế nhất của nó là một thông điệp
(lời nói hoặc cách diễn đạt) hoặc tập hợp các thông điệp theo một
trình tự có thứ tự bao gồm các ký hiệu, hoặc đó là ý nghĩa có thể
được giải thích từ một thông điệp hoặc tập hợp các thông điệp. Thông
tin có thể được ghi lại hoặc truyền đi. Nó có thể được ghi lại dưới
dạng dấu hiệu, hoặc chuyển tải dưới dạng tín hiệu. Thông tin là bất kỳ
loại sự kiện nào ảnh hưởng đến trạng thái của một hệ thống động. Khái
niệm này có nhiều ý nghĩa khác trong các ngữ cảnh khác nhau.
Hơn nữa, khái niệm thông tin có liên quan chặt chẽ đến các
khái niệm về ràng buộc, giao tiếp, kiểm soát, dữ liệu, hình
thức, hướng dẫn, kiến thức, ý nghĩa, kích thích tinh thần, khuôn
mẫu, nhận thức, biểu diễn, và đặc biệt là entropy

Lý thuyết thông tin là một toán học chính thức

lý thuyết, sử dụng xác suất và thống kê để làm cho mọi
thứ trở nên chính xác về mặt toán học
Chìa khóa là giao tiếp, chuyển tiếp tin

nhắn từ ai đó đến người khác
Tôi đang liên lạc với bạn bây giờ, hy vọng
Tôi đang giao tiếp với bạn biết bao nhiêu
Chúng ta có thể định lượng nó không

Ký hiệu
Véc tơ & Ma trận:
= vectơ, = ma trận
Biến ngẫu nhiên (rv)

= rv, = giá trị cụ thể
= tập hợp (bảng chữ cái)
Phạm vi:
: giảm hạng phạm vi, + 1,…,
Cardinality (số lượng kết quả cơ bản):
= số phần tử trong tập hợp
Hàm khối lượng xác suất (pmf) của một rv:

Biến ngẫu nhiên rời rạc
Một biến ngẫu nhiên nhận giá trị từ . Véc tơ của
bảng chữ cái với các xác

.
suất xác suất : vectơ khối
lượng xác suất (pmv)
Ví dụ:
1 1 1 1 1 1
Xúc xắc: = [1; 2; 3; 4; 5; 6], = [ ; ; ; ; ; ]
6 6 6 6 6 6
Văn bản tiếng Anh: = [a; b; …; x; y; z; <dấu
cách>], = 0,058; 0,013; …; 0,016; 0,007; 0,193

Gia tri đươ c ki vo ng
Nếu là một hàm được định nghĩa trên đó
=
()
Ví dụ:
Xúc xắc: = 1; 2; 3; 4; 5; 6
1
= [ 1 6 ; 1 6 ; 1 6 ; 1 6 ; 1 6 ; 6]
= 3,5 =
2 = 15,17 = 2 + 2
sin 0,1 = 0,388
- log2 = 2.58 Đây là "entropy" của

số 8
Thông tin nội dung Shannon
Nội dung thông tin Shannon (SIC) của một kết quả
có xác suất là - log2 Đóng góp của Shannon - một
quan điểm thống kê
Tin nhắn, các kênh ồn ào là ngẫu nhiên
Thời kỳ tiền Shannon: cách tiếp cận xác định
Ví dụ 1: tung đồng xu
1 1
= [Đầu; Đuôi], = [ ; 2 2
], SIC = [1; 1] bit
Ví dụ 2: Hôm nay là sinh nhật của bạn

1
= [Không; Có], = [ 364 ; ], SIC = [0,004; 8,512] bit
365 365
Kết quả không có khả năng cung cấp thêm thông tin

Entropy - Định nghĩa
Entropy là thước đo độ không đảm bảo của một

biến ngẫu nhiên
Entropy của rv:

Nội dung thông tin Shannon trung bình của rv hoặc
độ không đảm bảo đo trung bình liên quan đến
rv Công thức:
= -
= - log2 () log2 ()
ở đâu = ,

Entropy - Thuộc tính
Công thức:
= -
= - log2 () log2 ()
Entropy luôn không âm

tính bằng bit
Sử dụng log () = log2 ( ) và đo lường Nếu sử dụng
log (), nó đo bằng nats
1 nat = log2 ( ) bit = 1,44 bit
Entropy chỉ phụ thuộc vào xác suất
11
Entropy - Ví dụ
Biến ngẫu nhiên Bernoulli: = [0; 1], = [1 - p; P]
= - 1 - log 1 - - log ()
Cho một rv:

= R; G; B; W
1 1
]
1 1 ; ; ;
= [ 2 4 8 8
Tính SIC của

và - entropy
của

Sự thú vị
Nhấc điện thoại lên, chúng tôi không bao giờ biết chắc ai là người gọi
Một người bạn, chú, dì,…
Đó là một thử nghiệm khá thú vị để làm
Bật chìa khóa xe máy của tôi, nó khởi động
Không ngạc nhiên tại sao xe máy của tôi lại nổ máy vì nó được bảo
dưỡng tốt và có một người thợ giỏi
Nó không phải là một điều rất thú vị để làm
Phần lớn thời gian trong ngày của chúng ta bao gồm các thí
nghiệm khá kém thú vị
Bước một bước, chào hỏi một người bạn, đến trường,…
Nếu những sự kiện này đột nhiên trở nên thú vị, chúng tôi sẽ
gặp rắc rối

Entropy trong một Nutshell
Entropy thấp Entropy cao

… Giá trị (vị trí của súp) … Giá trị (vị trí của súp) không
được lấy mẫu hoàn toàn thể đoán trước được hầu như được
từ bên trong bát súp lấy mẫu đồng nhất trên bàn ăn

Entropy của xô
Ba thùng, mỗi thùng có 8 chữ cái

Entropy khớp
Biến ngẫu , của một cặp rời rạc

nhiên entropy ,
với một phân phối chung
, được định nghĩa là:
, = - log2 ,
= -
, log2 ,
, = - nhật ký ,

Entropy khớp
Tính toán,
, = =
= 1 1
2 4
= 0 1
4
, = - log ,
1 1 - 1 1
= - 4
2 log 4 bản ghi
- -2 1 1
4 bản ghi 4
= 1,5 bit
Entropy có điều kiện
Phân phối của một cặp rời rạc

biến ngẫu nhiên , với một điều kiện
entropy được định nghĩa là:
= - nhật ký
= =
= -
khúc gỗ
= -
, nhật ký

Entropy có điều kiện - Ví dụ

Máy tính
= =
, = =
= 1 1 3
2 4 4
= 0 1 1
4 4
= = =
= 2 1 2 1 3
3 3 ( 3, 3) 4
= 0 1 1
0,1 4

Lấy trung bình có trọng số của entropy có
trọng lượng
mỗi hàng bằng cách sử dụng
= = =
= 2 1 2 1 3
3 3 ( 3, 3) 4
= 0 1 0,1 1
4
= =
= 3 2 1 +
1
× 0,1
× 4 3, 3 4
= 0,689 bit
Bổ sung Entropy
, = =
= 1 1 3
2 4 4
= 0 1 1
4 4
,
= - nhật ký = - nhật ký
= - nhật ký , - - nhật ký
= , -
= 1 1 1 - 3 1
2, 4, 0, 4 4 , 4
= 0,689 bit
Lê Nguyên Khôi Thông tin Lý thuyết 21
Entropy có điều kiện
là thông tin bổ sung trung bình khi bạn

biết

Quy tắc chuỗi
Xác suất
, =
Entropy khớp & Entropy có điều kiện:

, = +
Nhật ký trong định nghĩa entropy chuyển đổi
các tích của xác suất thành tổng entropy
Hệ quả
, = + ,

Tập thể dục
Đưa ra một phân phối xác suất chung ,
, = = = =
= 1 1 1 1
số 8 16 32 32
= 1 1 1 1
16 số 8 32 32
= 1 1 1 1
16 16 16 16
= 1
0 0 0
4
Tính toán: , ,
Tính toán: , ,

Thí dụ
1 1 1 ; ; ; 1
Phân phối biên của là [ 4 4 4 4

]
1 1 1 ; ; ; 1
Phân phối biên của là [ 2 4 8 8 ]
Nó rất dễ dàng để đạt được = và = /

= , - ()
4
4
= -
, , nhật ký ,
= 1
=
1 1 1 log
1 1 log 1 1 1
= - 4 4 1 1
log 4 4 51
1 1 1 1 1 1 log
- 2 +log28-+86 16
log
6 816-8 32
416log
32
16 + 4 32 32 1 log
4 + 6 + 12 + 5 27
3 3 + + +4 22
= - 8
= = =
8 27 7 8 13
= - =
số 8 4 số 8

Quy tắc chuỗi - Bằng chứng
, = +
= -
, , nhật ký ,
= -
, nhật ký
= - -
, nhật ký , nhật ký
= - -
khúc gỗ , nhật ký
= +

Quy tắc chuỗi
Xác suất
, , = , ()
Entropy
, , = , + +
1: = 1: 1
= 1
Nhật ký trong định nghĩa entropy chuyển đổi

các tích của xác suất thành tổng entropy

Entropy tương đối

Entropy tương đối đo lường cách một phân phối xác
suất khác với phân phối xác suất thứ hai
Khoảng cách tương đối entropy hoặc Kullback-Leibler

giữa hai hàm khối lượng xác suất () và ()
được định nghĩa là
( ) = khúc gỗ = nhật ký
Nhận xét:
Đó không phải là khoảng cách thực giữa các phân phối vì nó
không đối xứng và không thỏa mãn bất đẳng thức tam giác.
Tuy nhiên, thường hữu ích khi coi entropy tương đối là
"Khoảng cách" giữa các bản phân phối.

Entropy tương đối - Ví dụ
Cho = [0; 1] và xem xét hai phân phối và

trên. Cho 0 = 1 - và 1 =. Sau, đó: ,
0 = 1 - , 1 =
1 -
( = 1 - nhật ký + nhật ký
1 -
1 -
( = 1 - nhật ký + nhật ký
1
Nếu = thì (= = ( 1 - = 0. Nếu = 1/2 và
1/4 thì ( = 1 - log3 = 0,2075 bit,
2
3
nhưng trái lại (
= - 1 = 0,1887 bit
4log3

Thông tin lẫn nhau
Thông tin lẫn nhau của hai biến ngẫu nhiên là một
thước đo sự phụ thuộc lẫn nhau giữa hai biến số. Nó

định lượng lượng thông tin thu được về một biến ngẫu
nhiên thông qua việc quan sát biến ngẫu nhiên kia
Xem xét hai biến ngẫu nhiên và với hàm khối lượng
xác suất chung (,) và hàm khối lượng xác suất biên
() và (). Thông tin lẫn nhau là entropy tương đối giữa
phân phối chung ;và phân phối sản phẩm () ()
(,)
; = , nhật ký = ((,) () )
= (,)
(,) nhật ký
()
Thông tin lẫn nhau & Entropy

Thông tin lẫn nhau
Lượng thông tin trung bình mà bạn nhận

được từ việc quan sát
Hoặc giảm độ không chắc chắn do
kiến thức của
; = - = + - (,)
Thông tin trong Thông tin khi bạn đã biết
,
Thông tin lẫn nhau là đối xứng
; =;
;
Sử dụng ";" để tránh sự mơ hồ
giữa và ( , ; )

Thông tin lẫn nhau - Ví dụ
, = =
Đoán giá trị của
= 1 1
50% cơ hội đúng 2 4
= 0 1
nếu bạn biết thì sao? 4
3 2
nếu = 0 (= ) chọn = 0, đúng
4 3
1 1
nếu = 1 (= ) chọn = 1, đúng
4 1
Nhìn chung
3
× 2
+ 1
× 1 = 3
= 75% xác suất đúng
4 3 4 1 4
Dự đoán tốt nhất: chọn =

Thông tin lẫn nhau - Ví dụ
, = =
Máy tính; = 1 1
2 4
= 0 1
4
; = -
= + - (,)
, = 1,5
= 0,811 = 1
, = 1,5 ; = 0,311 = 0,5 ; = 0,311 = 0,689
= 0,811 = 1

Tập thể dục
Đưa ra một phân phối xác suất chung ,

, = = = =
= 1 1 1 1
số 8 16 32 32
= 1 1 1 1
16 số 8 32 32
= 1 1 1 1
16 16 16 16
= 1 0 0 0
4
Máy tính
,
, , ;

Bài tập 2.4 tr.44

(a): quy tắc chuỗi (entropy chung & entropy có điều kiện)
(b): () = 0, như đã biết ngụ ý ()

(c): quy tắc chuỗi (entropy chung & entropy có điều kiện)
(d): () ≥ 0, thuộc tính: entropy không âm


If the method = () have a positive pair, that
cặp nghiệm 0, 0 is the fine value
Giả sử tồn tại và 02 giá trị khác nhau> 0 1, 2:

and > 0
0, 1 0, 2
Khi đó:
0 ≥ 0, 1 + 0, 2 > 0
1 0
and 2 0 do 0 or 1
= -
khúc gỗ
≥ 0 - 1 0 nhật ký 1 0 - 2 0 nhật ký 2 0
> 0 > 0

Bài tập 2.14a tr.46
= +
do đó = = = = - =
= () =
= -
= = log = =
= -
= - = log = - =
= =

Bằng chứng
1. , ≥
2. , ; ≥;
3. , , - , ≤ , -
4. ; ≥; -; Dấu +;

lec03 dịch

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

lec03 dịch

Uploaded by

Copyright:

Available Formats

Machine Translated by Google

Lý thuyết thông tin

Bất bình đẳng Jensen và hệ quả

Lý thuyết thông tin

Lý thuyết thông tin nghiên cứu việc định

Thông tin là gì?

Từ điển tiếng Anh Oxford nói:

Lê Nguyên Khôi Lý thuyết thông tin 2

một tín hiệu hoặc ký tự đại diện cho dữ liệu

Lê Nguyên Khôi Lý thuyết thông tin 3

Lê Nguyên Khôi Lý thuyết thông tin 4

Lý thuyết thông tin

Lý thuyết thông tin là một toán học chính thức

Chìa khóa là giao tiếp, chuyển tiếp tin

Tôi đang liên lạc với bạn bây giờ, hy vọng

Tôi đang giao tiếp với bạn biết bao nhiêu

Chúng ta có thể định lượng nó không

Lê Nguyên Khôi Lý thuyết thông tin 5

Véc tơ & Ma trận:

Biến ngẫu nhiên (rv)

Hàm khối lượng xác suất (pmf) của một rv:

Lê Nguyên Khôi Lý thuyết thông tin 6

Biến ngẫu nhiên rời rạc

Một biến ngẫu nhiên nhận giá trị từ . Véc tơ của

bảng chữ cái với các xác

Lê Nguyên Khôi Lý thuyết thông tin 7

Gia tri đươ c ki vo ng

Nếu là một hàm được định nghĩa trên đó

sin 0,1 = 0,388

- log2 = 2.58 Đây là "entropy" của

Lê Nguyên Khôi Lý thuyết thông tin

Thông tin nội dung Shannon

Tin nhắn, các kênh ồn ào là ngẫu nhiên

Thời kỳ tiền Shannon: cách tiếp cận xác định

Ví dụ 2: Hôm nay là sinh nhật của bạn

Lê Nguyên Khôi Lý thuyết thông tin 9

Entropy - Định nghĩa

Entropy là thước đo độ không đảm bảo của một

Entropy của rv:

Lê Nguyên Khôi Lý thuyết thông tin 10

Entropy - Thuộc tính

Entropy luôn không âm

log (), nó đo bằng nats

1 nat = log2 ( ) bit = 1,44 bit

Entropy chỉ phụ thuộc vào xác suất

Biến ngẫu nhiên Bernoulli: = [0; 1], = [1 - p; P]

Cho một rv:

Tính SIC của

Lê Nguyên Khôi Lý thuyết thông tin 12

Một người bạn, chú, dì,…

Đó là một thử nghiệm khá thú vị để làm

Bật chìa khóa xe máy của tôi, nó khởi động

Nó không phải là một điều rất thú vị để làm

nghiệm khá kém thú vị

Lê Nguyên Khôi Lý thuyết thông tin 13

Entropy trong một Nutshell

Entropy thấp Entropy cao

Lê Nguyên Khôi Lý thuyết thông tin 14

Ba thùng, mỗi thùng có 8 chữ cái

Lê Nguyên Khôi Lý thuyết thông tin 15

Biến ngẫu , của một cặp rời rạc

Lê Nguyên Khôi Lý thuyết thông tin 16

Entropy có điều kiện