Professional Documents
Culture Documents
Chuong 2
Chuong 2
NGUỒN TIN
Thông Tin
Thông tin
- Hai người nói chuyện với nhau. Cái mà trao đổi giữa họ
gọi là thông tin.
- Một người đang xem tivi/nghe đài/đọc báo, người đó
đang nhận thông tin từ đài phát/báo.
- Các máy tính nối mạng và trao đổi dữ liệu với nhau.
- Máy tính nạp chương trình, dữ liệu từ đĩa cứng vào
RAM để thực thi
Thông Tin
Thông tin
- Thông tin là cái được truyền từ đối tượng này đến đối tượng
khác để báo một “điều” gì đó.
- Thông tin chỉ có ý nghĩa khi “điều” đó bên nhận chưa biết.
- Thông tin xuất hiện dưới nhiều dạng âm thanh, hình ảnh,
- Ngữ nghĩa của thông tin chỉ có thể hiểu được khi bên nhận
hiểu được cách biểu diễn ngữ nghĩa của bên phát.
- Có hai trạng thái của thông tin: truyền và lưu trữ. Môi
trường truyền/lưu trữ được gọi chung là môi trường chứa
tin hay kênh tin.
Thông Tin
Thông tin
- Trong khoa học kỹ thuật, LTTT nghiên cứu nhằm tạo
ra một “cơ sở hạ tầng” tốt cho việc truyền thông tin
chính xác, nhanh chóng và an toàn; lưu trữ thông tin
một cách hiệu quả.
...
Thông tin
Hệ thống thông tin số
- Sơ đồ hệ thống truyền dẫn số đơn giản
Nguồn tin
Định nghĩa
- Để đánh giá định lượng cho tin tức, người ta đưa ra khái
niệm lượng tin.
- Lượng tin đưa ra khả năng dự đoán được của tin.
- Một tin có xác suất xuất hiện càng nhỏ thì có độ bất ngờ
càng lớn, lượng tin càng lớn, và ngược lại.
- Xét nguồn tin X rời rạc sinh ra các tin i với xác suất là
p(i), lượng tin i phải là một hàm có đặc điểm sau:
• Tỉ lệ nghịch với xác suất xuất hiện p(i), f(1/(p(i))).
• Hàm này phải bằng 0 khi p(i)=1
Nguồn tin
Tiêu chí đánh giá chất lượng hệ thống thông tin
- Tính hiệu quả
Tốc độ truyền tin
Truyền đồng thời nhiều tin khác nhau
Chi phí hoạt động và đầu tư
- Độ tin cậy
- Bảo mật
- Đảm bảo chất lượng dịch vụ
Nguồn Tin
Định nghĩa
- Nếu hai tin độc lập thống kê là i và j đồng thời xuất
hiện ta có tin là (i, j) , thì lượng tin chung phải bằng
tổng lượng tin của từng tin:
Vì vậy
Nguồn Tin
Định nghĩa
- Hàm loga thỏa mãn các yêu cầu này nên hàm log(1/p(i))
được chọn để đánh giá định lường cho tin.
- Lượng tin của một tin i được ký hiệu là I(i). Định nghĩa
lượng tin của một tin i
Tính lượng tin I(x1) và I(x2) cho mỗi trường hợp và nhận
xét.
Nguồn Tin
Lượng tin có điều kiện
( )
I ( xi / y j ) = − log P ( xi / y j ) .
I ( xi=
; y j ) I ( xi ) − I ( xi / y j )
P ( xi / y j )
= log
P ( xi )
Nguồn Tin
Lượng tin tương hỗ có điều kiện
- Giả sử có 3 tập tin rời rạc X, Y, Z và xi ∈ X, yj
∈ Y, zk ∈ Z Khi đó lượng tin tương hỗ có điều
kiện:
P( xi / y j zk )
I ( xi ; y j / zk ) = log
P( xi / zk )
Nguồn Tin
Tính chất lượng tin tương hỗ
-H(XY) = H(Y)+H(X/Y)
- H(XYZ) = H(X)+H(Y/X)+H(Z/X,Y)
= H(XY) + H(Z/X,Y)
Nguồn Tin
Entropy có điều kiện
- Xét hai biến ngẫu nhiên rời rạc xi∈X và yj ∈ Y
với xác suất xuất hiện lần lượt là P(xi) với i = 1, 2,
., n và P(yj) với j = 1, 2, ., m.
- Entropy có điều kiện H(X/Y) của tập tích XY là
độ bất định trung bình của X khi đã xảy ra một tin
bất kỳ trong nguồn tin Y:
n m
H ( X / Y ) = −∑∑ P( xi / y j ) log P( xi / y j )
=i 1 =j 1
Nguồn Tin
Tính chất của entropy có điều kiện
-Tính chất 1:
H (X ) ≥ H (X / Y)
-Tính chất 2:
H ( XY ) = H (YX )
Nguồn Tin
Entropy tương hỗ
- H(X;Y) = H(X) - H(Y/X)