Chương 2: NGUỒN TIN (Có thi)

- Lượng tin riêng, định nghĩa:

I  x    log b  x 
Tính: làm tròn cho mình 4-5 con số
Phân biệt: tập tin và tin
Tin là dạng vật cụ thể để biểu diễn thông tin
Lượng tin riêng là gì?
lượng đo thông tin của một lớp tin x i bất kì được đo bằng logarit của độ bất
ngờ của tin hay nghịch đảo xác suất xuất hiện của tin đó . lượng đo đó được gọi là
lượng tin riêng

Lượng tin riêng: gọi X là tập tin x1, x2 ,…xn năm 1928 harley ddingj nghĩa
lượng tin của biến X=xi như sau

P(Xi) là xác suất xuất hiện của của tin xi

Lượng tin riêng còn được gọi là lượng tin tương hỗ
Cơ số
b=2: đơn vị bit
b=e: đơn vị là nat
b=10: đơn vị harley
Đặc điểm:
Lượng tin riêng tỷ lệ thuận với độ bất định
Lượng tin riêng tỷ lệ nghịch với xác suất xuất hiện

Lượng tin riêng trung bình là gì?

 + Giá trị trung bình được tính bằng tổng giá trị riêng sau khi đã nhân cho xác
suất xuất hiện của chúng
Khái niệm:
Lượng tin riêng của từng tin trong nguồn tin không phản ánh được tính
thống kê của nguồn tin
Lượng tin riêng trung bình của nguồn tin mới phản ánh đúng bản chất thống
kê của nguồn tin

Entropy là gì?
Entropie của nguồn tin rời rạc là trung bình thống kê của lượng thông tin riêng của
các dấu thuộc nguồn
Ví dụ:

Phân biệt giữa: Tin; nguồn tin; từ mã

Tin là dạng vật cụ thể để biểu diễn thông tin
Nguồn tin là nơi sản sinh ra thông tin
Từ mã là chuỗi ký hiệu mã biểu diện cho tin của nguồn. Tập hợp tất cả các
từ mã tương ứng với các tin của nguồn được gọi là bộ mã
Mã hiệu là gì?
Mã hiệu hay còn gọi là mã số hoặc chỉ đơn thuần là mã - là một công thức để biến đổi
một mẩu thông tin sang một hình thức hoặc một tượng trưng khác, không nhất thiết đồng dạng
với mẩu thông tin gốc.
Phân biệt giữa: từ mã và bộ mã
Từ mã là chuỗi ký hiệu mã biểu diện cho tin của nguồn. Tập hợp tất cả các
từ mã tương ứng với các tin của nguồn được gọi là bộ mã

Độ dài từ mã là gì?
 Độ dài từ mã thứ k(Ik) là số ký tự mã hóa k
101-> có 3bit ->độ dài là 3
Thế nào là mã non-singular?

Cho bộ mã U = {01, 11, 00}

Thế nào là từ mã mở rộng?
Thế nào là bộ mã giải mã là duy nhất?
Một bộ mã được gọi là giải mã duy nhất khi các từ mã mở rộng của nó là
một từ mã non-singular

Thế nào là bộ mã có tính prefix?

Một bộ mã có tính prefix khi không có bất cứ từ mã nào là phần đầu của một từ mã
khác trong bộ mã

Điều kiện để biết chính xác bản tin được phát đi là gì?
Phân biệt mã đều và mã đầy?
 n
L   p  xi  li
Chiều dài trung bình của bộ mã: i 1

H (X )

Hiệu suất của bộ mã: L (%)
Phân biệt chiều dài từ mã và chiều dài trung bình của bộ mã?