МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ

УНІВЕРСИТЕТ МИТНОЇ СПРАВИ ТА ФІНАНСІВ

ФАКУЛЬТЕТ ІННОВАЦІЙНИХ ТЕХНОЛОГІЙ
КАФЕДРА КІБЕРБЕЗПЕКИ ТА ІНФОРМАЦІЙНИХ ТЕХНОЛОГІЙ

Лабораторна робота №8-9

з дисципліни: «Теорія інформації»
на тему: «Дискретні джерела інформації. Ентропія, продуктивність та
надмірність – інтегральні інформаційні характеристики дискретного джерела
інформації»

Виконала:
студентка групи Б19-1
Брила К.С.

Перевірила:
Каткова Т.І.

Дніпро
2020
 Брила Каріна Група Б19-1

2 варіант
Задача №1. Отримати чисельні значення ентропії, продуктивності та
надмірності немарковського дискретного джерела інформації з алфавітом X
потужності M= 4. Значення ймовірностей p ( x i)виникнення символів та їх
тривалостей ԏi (в мілісекундах, мс) для різних варіантів наведені у таблиці
1.3.1.

p ( x 1) =0,21 , ԏ1=5,4 ,

p ( x 2) =0,16 , ԏ2=1,5 ,

p ( x 3 )=0,03 , ԏ3=2,3 ,

p ( x 4 ) =0,6 , ԏ4=1,2.

Розв’язання

1) Для дискретного немарковського (без пам’яті ) джерела інформації

ентропія H визначається за таким виразом:
M
H=−∑ p ( x i )∗log 2 p (x i).
i=1

Підставимо значення у формулу і отримаємо:

H=−0,21∗log 2 0,21−0,16∗log 2 0,16−0,03∗log 2 0 , 03−0,6∗log 2 0,6=¿ ¿

¿−0,21∗(−2,25 )−0,16∗(−2,64 )−0,03∗(−5,06 )−0,6∗(−0,74 )=¿

¿ 0,47+ 0,42+ 0,15+0,44=1,48 біт

2) Щоб знайти продуктивність потрібно спочатку визначити середню

тривалість символу за формулою:
M
ԏ=∑ p(x i ¿ )∗ԏi ¿.
i=1

Підставимо значення у формулу і отримаємо:

2
 Брила Каріна Група Б19-1

ԏ=0,21∗5,4+0,16∗1,5+0,03∗2,3+0,6∗1,2=¿ 1,13+0,24 +0,07+ 0,72=2,16 мс=2 , 16∗10−3 c

3) Продуктивність H джерела інформації – це кількість інформації, що

виробляється джерелом за одиницю часу, тобто

H
H= .
ԏ

Підставимо значення у формулу і отримаємо:

1,48
H= =685,19 біт/с
2,16∗10−3

4) Надмірність (надлишок) R дискретного джерела інформації

обчислюється за формулою:

H
R=1− .
log 2 M

Підставимо значення у формулу і отримаємо:

1,48
R=1− =1−0,74=0,26
log 2 4

Відповідь: 1 ¿ H =1,48 біт; 2 ¿ H=685,19 біт /c ; 3 ¿ R=0,26.

Задача №2. Маємо два немарковських дискретних джерела інформації з

алфавітами X = { x 1 , x 2 , x 3} та Y = { y 1 , y 2}. Чисельні значення ймовірностей p ¿)
сумісного виникнення символів на виходах джерел для різних варіантів
наведені у таблиці 1.3.2. Чому дорівнює ентропія системи цих двох джерел?
Яке з цих джерел має більшу надмірність?  Чи є джерела статистично
незалежними?

p ( x 1 , y 1 )=0,12 ,

p ( x 1 , y 2 )=0,04 ,

p ( x 1 , y 3 )=0,24 ,

3
 Брила Каріна Група Б19-1

p ( x 2 , y 1 )=0,18 ,

p ( x 2 , y 2 )=0,06 ,

p ( x 2 , y 3 )=0,36

Розв’язання

Розрахуємо, користуючись виразами

N
p ( y k )=∑ p (x i , y k ¿ )¿
k=1

M
p ( x i) =∑ p( x i , y k ¿ )¿
i=1

безумовні ймовірності появи символів на виходах першого та другого джерел.

Отримаємо:

p ( x 1) =0,12+0,04 +0,24=0,4

p ( x 2) =0,18+0,06 +0,36=0,6

p ( y 1 )=0,12+0,18=0,3

p ( y 2 )=0,04 +0,06=0,1

p ( y 3 )=0,24+0,36=0,6

Тепер можемо знайти ентропії джерел за виразом

M
H=−∑ p ( x i )∗log 2 p (x i).
i=1

Підставимо значення у формулу і отримаємо:

H ( X )=−0,4∗log 2 0,4−0,6∗log 2 0,6=−0,4∗(−1,32 )−0,6∗(−0,74 )=¿ ¿

¿ 0,53+0,44=0,97 біт

H ( Y )=−0,3∗log 2 0,3−0,1∗log 2 0,1−0,6∗log 2 0,6=−0,3∗(−1,74 )−¿ ¿

4
 Брила Каріна Група Б19-1

−0,1∗(−3,32 )−0,6∗(−0,74 )=0,52+0,33+ 0,44=1,29біт

1) Ентропію системи цих двох джерел обчислимо за формулою:

M N
H ( X ,Y )=−∑ ∑ p ( x i , y k )∗log 2 p( x i , y k ¿ ¿ ¿ )¿ ¿ ¿
i=1 k=1

Підставимо значення у формулу і отримаємо:

H ( X ,Y )=−0,12∗log 2 0,12−0,04∗log 2 0,04−0,24∗log 2 0,24−¿

−0,18∗log 2 0,18−0,06∗log 2 0,06−0,36∗log 2 0,36=¿ ¿

¿ 2,26 біт .

2) Обчислимо надмірність цих джерел для їх порівняння за формулою:

H
R=1− .
log 2 M

M =2 , N=3

Підставимо значення у формулу і отримаємо:

0,97
R ( X )=1− =1−0,97=0,03
log 2 2

1,29
R ( Y )=1− =1−0,82=0,18
log 2 3

Таким чином, джерело з алфавітом Y має більшу ентропію, ніж джерело з

алфавітом X, R ( Y ) > R(X ).

3) Оскільки вже відомі значення ентропій H ( X ) та H (Y ), доцільно перевірити,

чи виконується рівність
H ( X ,Y )=H ( X ) + H (Y )

Ми розрахували сумісну ентропію: H ( X ,Y )=2,26 біт .

Оскільки H ( X ) + H ( Y )=0,97+1,29=2,26 біт=H ( X ,Y ), то джерела є статистично

незалежними.
5
 Брила Каріна Група Б19-1

Відповідь: 1) 2,26 біт; 2) R ( Y ) > R(X ); 3) джерела є статистично незалежними.

Задача № 3. Марковське дискретне джерело інформації має алфавіт X = { x 1 , x 2

}. Статистичні зв’язки розповсюджуються тільки на суміжні символи (тобто
глибина пам’яті h = 1). Чисельні значення умовних ймовірностей p(x i / x k )та
тривалостей символів  ԏi (в мілісекундах, мс) для різних варіантів наведені у
таблиці 1.3.3. Отримати чисельні значення ентропії, продуктивності та
надмірності джерела.

p(x 1 / x1 )=0,22

p(x 2 / x1 )=0,78

p(x 1 / x2 )=0,43

p(x 2 / x2 )=0,57

ԏ1=3,3

ԏ2=5,1

Розв’язання

1) Щоб розрахувати ентропію марковського джерела, необхідно знати

безумовні ймовірності p ( x 1) , p ¿) появи відповідних символів на виході
джерела. Їх можна отримати, скориставшись рівняннями:
p ( x 1) = p ( x 1)∗p( x 1 / x1 )+ p ( x 2)∗p(x 1 / x2 );

p ( x 2) = p ( x 1)∗p( x 2 / x1 )+ p ( x 2)∗p ( x2 /x 2) ;
p ( x 1) + p ( x 2 )=1.

Підставивши сюди значення умовних ймовірностей та дещо спростивши,

будемо мати систему лінійних рівнянь:

−0,78 p ( x 1) + 0,43 p ( x 2 )=0;

6
 Брила Каріна Група Б19-1

0 , 78 p ( x 1 ) −0,43 p ( x 2 )=0;

p¿

Розв'язання системи дає:

p ( x 1) =0,35537 , p ( x2 ) =0,64463

Тепер можна скористатись виразом

M M
H ( X )=−∑ p ( x i¿ )∗∑ p ( x k / xi ¿ )∗log 2 p( x k / x i ¿)¿ ¿ ¿
i=1 k=1

Підставимо значення у формулу і отримаємо:

H ( X )=− p ( x 1 )∗p (x1 / x 2)∗log 2 p ( x 1 /x 2)−p ( x 2)∗p (x2 / x 1 ¿)∗log 2 p ( x 2¿ ¿ x 1 )=¿ ¿ ¿

¿−0,35537∗0,43∗(−1,22 )−0,64463∗0,78∗(−0,36 )=0,186+ 0,181=0,367 біт .

2) Щоб знайти продуктивність потрібно спочатку визначити середню

тривалість символу за формулою:
M
ԏ=∑ p(x i ¿ )∗ԏi ¿.
i=1

Підставимо значення у формулу і отримаємо:

ԏ=0,35537∗3,3+0,64463∗5,1=1,173+3,288=4,461 мс=4,461∗10−3 c

Продуктивність H джерела інформації – це кількість інформації, що

виробляється джерелом за одиницю часу, тобто

H
H= .
ԏ

Підставимо значення у формулу і отримаємо:

0,367
H= =82,27 біт / c
4,461∗10−3

7
 Брила Каріна Група Б19-1

3) Надмірність (надлишок) R дискретного джерела інформації

обчислюється за формулою:

H
R=1− .
log 2 M

Підставимо значення у формулу і отримаємо:

0,367
R=1− =1−0,367=0,633
log 2 2

Відповідь: 1) 0,367 біт; 2) 82,27 біт/c; 3) 0,633.

Задача №4. Маємо два немарковських дискретних джерела інформації з

алфавітами X = { x 1 , x 2 , x 3} та Y = { y 1 , y 2}. Чисельні значення безумовних p( y k )та
умовних p( y k / x i) ймовірностей виникнення символів на виході джерела з
алфавітом Y відомі та для різних варіантів наведені у таблиці 1.3.4. Отримати
чисельні значення ентропії H (X, Y) системи цих двох джерел та повної взаємної
інформації I (X, Y). Яке з цих джерел має більшу надмірність?

p ( y 1 )=0,498 , p ( y 2 )=0,240 , p ( y 3 )=0,262

p ( y 1 / x1 ) p( y 2 / x 1) p ( y 3 /x 1 )
[ p ( y 1 / x2 ) p( y 2 / x 2) p( y 3 /x 2 ) ]
[ 0,75
0,33
0,15 0,10
0,30 0,37 ]
Розв’язання

1) Розрахуємо ентропію системи двох джерел за формулою:

M N
H ( X ,Y )=−∑ ∑ p( y k /x i )∗log 2 p( y k / x i)
i=1 k=1

Підставимо значення у формулу і отримаємо:

H ( X ,Y )=−0,75∗log 2 0,75−0,15∗log 2 0,15−0,1∗log 2 0,1−¿

8
 Брила Каріна Група Б19-1

−0,33∗log 2 0,33−0,3∗log 2 0,3−0,37∗log 2 0,37=¿ ¿

¿−0,75∗ (−0,42 )−0,15∗(−2,74 )−0,1∗ (−3,32 )−0,33∗(−1,6 )−0,3∗(−1,74 )−0,37∗(−1,43 ) =¿
¿ 0,32+0,41+0,33+ 0,53+ 0,52+0,53=2,64 біт
2) Для того, щоб розрахувати повну взаємну інформацію для початку
потрібно знайти значення p ( x 1) та p(x 2). Їх можна отримати, скориставшись
рівняннями:
p ( y 1 )= p ( x 1 )∗p( y1 / x 1)+ p( x 2 )∗p( y 1 / x 2);

p ( y 2 )= p ( x 1 )∗p( y 2 /x 1)+ p(x 2 )∗p( y 2 / x 2) ;

p ( y 3 )= p ( x 1 )∗p( y 3 /x 1 )+ p ( x2 )∗p( y3 /x 2 );

p ( x 1) + p ( x 2 )=1.

Підставивши сюди значення умовних ймовірностей та дещо спростивши,

будемо мати систему лінійних рівнянь:

0 , 498=0,75∗p ( x 1 ) +0,33∗p ( x 2) ;

0,24=0,15∗p ( x1 ) + 0,3∗p ( x 2 ) ;

0,262=0,1∗p ( x 1 )+ 0,37∗p ( x 2 ) ;

p ( x 1) + p ( x 2 )=1.

Розв'язання системи дає:

p ( x 1) =0,4 , p ( x 2 )=0,6

Далі потрібно знайти вірогідність сумісної появи символів x i , y k на виходах

відповідно першого та другого джерела за формулою

p ( x i , y k ) =p ( x i )∗p ( y k / x i).

Підставивши значення у формулу, отримаємо:

p ( x 1 , y 1 )= p ( x 1 )∗p( y1 / x 1)=0,4∗0,75=0,3

9
 Брила Каріна Група Б19-1

p ( x 1 , y 2 )= p ( x 1 )∗p( y 2 /x 1)=0,4∗0,15=0,06

p ( x 1 , y 3 )= p ( x 1 )∗p( y 3 /x 1 )=0,4∗0,1=0,04

p ( x 2 , y 1 )= p ( x 2 )∗p( y 1 /x 2)=0,6∗0,33=0,2

p ( x 2 , y 2 )= p ( x 2 )∗¿

p ( x 2 , y 3 )= p ( x 2 )∗p ( y 3 /x 2 )=0,6∗0,37=0,22

Знаходимо повну умовну ентропію за формулою

M N
H ( Y / X )=−∑ ∑ p (x i , y k )∗log 2 p( y k / x i)
i=1 k=1

Підставивши значення у формулу, отримуємо:

H ( Y / X )=−0 ,3∗log2 0,75−0,06∗log 2 0,15−0,04∗log 2 0,1−0,2∗log 2 0,33

−0,18∗log 2 0,3−0,22∗log 2 0,37=−0,3∗(−0,42 )−0,06∗(−2,74 )−0,04∗¿ ¿

(−3,32 )−0,2∗(−1,6 )−0,18∗(−1,74 )−0,22∗(−1,43 ) =¿

¿ 0,13+0,16+ 0,13+0,32+0,31+0,31=1,36біт

H ( X )=−0,4∗log 2 0,4−0,6∗log 2 0,6=−0,4∗(−1,32 )−0,6∗(−0,74 )=0,53+0,44=0,97біт

H ( Y )=−0,498∗log 2 0,498−0,24∗log 2 0,24−0,262∗log 2 0,262=−0,498∗¿ ¿

¿ (−1,01 )−0,24∗ (−2,06 )−0,262∗(−1,93 )=0,5+0,49+0,51=1,5 біт

Для знаходження повної взаємної інформації скористаємося формулою:

I ( X , Y )=H ( Y ) −H (Y / X )

Підставивши значення у формулу, отримаємо:

I ( X , Y )=1,5−1,36=0,14 біт

3) Обчислимо надмірність цих джерел для їх порівняння за формулою:

H
R=1− .
log 2 M
10
 Брила Каріна Група Б19-1

M =2 , N=3

Підставивши значення у формулу, отримаємо:

0,97
R ( X )=1− =1−0,97=0,03
log 2 2

1,5
R ( Y )=1− =1−0,95=0,05
log 2 3

Таким чином, джерело з алфавітом Y має більшу ентропію, ніж джерело з

алфавітом X, R ( Y ) > R(X ).

Відповідь: 1) 2,64 біт; 2) 0,14 біт; 3) R ( Y ) > R(X ).

Відповіді на контрольні питання

1. Назвіть первинні характеристики дискретного джерела інформації

Первинні характеристики дискретного джерела інформації – це алфавіт,

сукупність ймовірностей появи символів алфавіту на виході дискретного
джерела та тривалості символів.

Алфавіт – множина символів, які можуть з’явитися на виході дискретного

джерела; – потужність, тобто кількість різноманітних символів алфавіту.

Якщо всі ймовірності, які визначають виникнення символів на виході джерела,

не залежать від часу, джерело називають стаціонарним.

Для опису джерел, які не мають пам’яті, достатньо мати значення безумовних
імовірностей p(x i) виникнення символів x i, i = 1, 2, 3,…, M на його виході.
Більшість реальних джерел інформації є джерелами з пам’яттю. Розподіл
ймовірностей виникнення чергового символу на виході дискретного джерела з
пам’яттю залежить від того, які символи були попередніми.

11
 Брила Каріна Група Б19-1

2. Яке джерело інформації називають марковським? Чому дорівнює його

глибина пам’яті?

Більшість реальних джерел інформації є джерелами з пам’яттю. Розподіл

ймовірностей виникнення чергового символу на виході дискретного джерела з
пам’яттю залежить від того, які символи були попередніми. Таке джерело
інформації називають марковським, оскільки процес появи символів на його
виході адекватний ланцюгам Маркова; останні в свою чергу отримали таку
назву на честь російського математика Маркова (старшого) Андрія Андрійовича
(1856 – 1922), який заклав основи розділу теорії випадкових процесів.

Глибина пам’яті марковського дискретного джерела інформації дорівнює h,

(h  0), якщо ймовірність появи чергового символу залежить тільки від h
попередніх символів на виході цього джерела.

3. Що називається ентропією джерела інформації? Як визначається ентропія

дискретного немарковського (без пам’яті) джерела інформації?

Для дискретного немарковського (без пам’яті) джерела інформації

ентропія  H визначається за таким виразом:
M
H=−∑ p ( x i )∗log 2 p (x i).
i=1

Зазначимо, що H не залежить від того, якими є випадкові події або величини

( якщо x i – випадкова величина ), а визначається тільки значеннями
ймовірностей. Це означає, що ентропія є характеристикою розподілу
ймовірностей.

Значення показує, яку кількість інформації в середньому дає поява одного

символу на виході дискретного джерела інформації. Ця міра запропонована
американським математиком і інженером Клодом Шенноном.

12
 Брила Каріна Група Б19-1

4. Що називається продуктивністю та надмірністю джерела інформації?

Ентропія, продуктивність та надмірність – інтегральні інформаційні

характеристики дискретного джерела інформації.

Продуктивність H джерела інформації – це кількість інформації, що

виробляється джерелом за одиницю часу:
M
H
H= , де ԏ= ∑ p(x i ¿ )∗ԏi ¿ – середня тривалість символу.
ԏ i=1

Надмірність ( надлишок ) R дискретного джерела інформації дає відносну

оцінку використання потенційних можливостей джерела з алфавітом заданої
потужності M :

H
R=1− .
log 2 M

Надмірність може приймати значення від 0 до 1. Вона дорівнює нулю,

якщо H =  H max  ; в цьому випадку дискретне джерело інформації буде
виробляти максимально можливий інформаційний потік. Із першої теореми
Шеннона виходить, що при застосуванні ефективного кодування надмірність
може бути зведена практично до нуля.

5. Що називається умовною ентропією джерела інформації? Як вона

визначається?

Умовна частинна ентропія характеризує невизначеність символів на

виході другого джерела при умові, що на виході першого з’явився символ x i.

Якщо H (Y / x i) усереднити по всіх x i, то отримаємо середню або повну умовну

ентропію:
M N
H ( Y / X )=−∑ ∑ p (x i , y k )∗log 2 p( y k / x i)
i=1 k=1

13
 Брила Каріна Група Б19-1

Ця ентропія характеризує в середньому невизначеність символів на виході

другого джерела, якщо є можливість спостерігати за появою символів на
виході першого джерела.

6. Як визначається ентропія об’єднання ансамблей повідомлень?

Для двох дискретних джерел можна розрахувати сумісну ентропію H ( X ,Y )

сукупності символів x i та y k , або ентропію об'єднання ансамблей X та Y:
M N
H ( X ,Y )=−∑ ∑ p ( x i , y k )∗log 2 p( x i , y k ¿ ¿ ¿ )¿ ¿ ¿
i=1 k=1

Список використаних джерел

1. Вернер М. Основы кодирования. Учебник для ВУЗов / М. Вернер. Москва:

Техносфера, 2006. – 288с.

2. Жураковський Ю.П. Теорія інформації та кодування: Підручник / Ю.П.

Жураковський, В.П. Полторак. — К.: Вища шк., 2011. — 255 с.: іл. ISBN 966-
642-031-7

3. Жураковський Ю. П. Теорія інформації та кодування в задачах:

Навчальний посібник / Ю. П. Жураковський, В. В. Гніліцький. – Житомир:
ЖІТІ, 2002. – 230 с.

4. Кожевников, В.Л. Теорія інформації та кодування [Текст]: навч. посібник /

В.Л. Кожевников, А.В. Кожевников. – Д.: Національний гірничий
університет, 2011. – 108 с.

5. Кулик А.Я. Теорія інформації і кодування / Навчальний посібник / А.Я.

Кулик, С.Г. Кривогубченко. – Вінниця: ВНТУ, 2008. - 145 с.

6. Дискретні джерела інформації

14
 Брила Каріна Група Б19-1

15