Лабораторна робота № 

1. Проаналізувати співвідношення між різними одиницями величини

інформації: ; ; .
побудувати графіки ;
на основі співвідношення встановити коефіцієнти
переходу бітами, натами та дітами.
2. Наведіть приклади (з власного досвіду, літератури тощо) які
вказують на залежність кількості інформації від імовірності отримання
певного повідомлення.
3. Міра інформації Хартлі визначається співвідношенням: ,

де - число символів у алфавіті, який використовується для формування

повідомлення. Наведіть приклади, які підтверджують твердження, що
кількість інформації, яка переноситься одним символом, зростає з ростом .

4. Встановити взаємозв’язок між мірами інформації Хартлі та

Шеннона. Наведіть інші міри величини інформації.
5. Позиційні та непозиційні системи числення. Наведіть приклади.
Двійкова (binary), вісімкова (octal) та шіснадцяткова ( hexadecimal) системи
числення, зв'язок між ними. Записати довільне число у цих системах.
Обґрунтуйте використання двійкової системи для опису інформаційних
процесів та систем.
6. Встановити інформативну ємність різних систем числення.
Вказівка. Якщо за основу системи числення взяти число x, то у системі із n
чисел отримуємо розрядів. Число цифр, які при цьому можна буде

записати рівне . Функція описує інформативну місткість системи

числення x. Для встановлення інформативної ємності треба знайти максимум

функції :

(1)

1
Завдання.
а) побудувати графіки функції для різних систем числення: двійкової,
вісімкової, десяткової та шіснядцяткової: (n = 2, 8, 10, 16).
б) Довести співвідношення (1).
Вказівка. Спочатку прологарифмуємо функцію :

потім ; ; .

7. Порахувати інформацію, що переноситься однією буквою

українського алфавіту у випадку рівномірної (1/32) та нерівномірної
(таблиця) їхньої появи. Пояснити отримані результати.

Частоти літер та пропусків в українській мові

SPACE 0.134 є 0.043 л 0.028 ч 0.011 ї 0.006
о 0.082 р 0.038 у 0.027 б 0.010 є 0.006
н 0.070 і 0.037 п 0.025 х 0.010 ф 0.005
а 0.070 с 0.036 я 0.021 ц 0.009 ш 0.005
и 0.056 к 0.036 з 0.019 ю 0.009 щ 0.003
т 0.051 м 0.033 ь 0.015 х 0.008 ґ 0.000
в 0.046 д 0.028 г 0.013 й 0.007

2
 8. Оцінити зменшення ентропії при отриманні інформації, яка
міститься у книзі об'ємом 25 авторських сторінок (1 а.с. містить 40000
знаків). Пояснити отриманий результат.
9. Встановити енергетичний еквівалент одного біта інформації.
Принцип Ландауера. Навести приклади, які ілюструють різну енергетичну
ціну біта інформації.
Landauer, R. Dissipation and heat generation in the computing process.
IBM J. Res. Dev. 1961, 5, 183.

10. Як зазначалося, принцип Ландауера дає нижню межу дисипації

енергії, при стиранні 1 біта інформації. Використовуючи дані інтернету,
встановити, як мінялася з часом величина енергії, яка розсіювалася у
середовищі при стиранні одного біта інформації. Наскільки сучасні комп’ютери
відповідають цьому критерію, і як межа мінялася з часом?

11. Згідно сучасних космологічних даних весь видимий всесвіт (зорі,

галактики, міжзоряний газ) становлять 5% від всього світу і містить 1080
протонів. 25% всесвіту становить темна матерія, а 68% - темна енергія.
Використовуючи принцип еквівалентності маси, енергії та інформації, оцініть
кількість інформації, яка існувала на момент створення світу.

Melvin M. Vopson The mass-energy-information equivalence principle Cite

as: AIP Advances 9, 095206 (2019); https://doi.org/10.1063/1.5123794: 22 August
2019 . Published Online: 06 September 2019

12. Оцінити величину енергії, які необхідно витратити для запису одного
біта інформації на різних носіях.

http://large.stanford.edu/courses/2018/ph240/jiang2/
https://www.youtube.com/watch?v=F5x1cO5_awk

3
 Wentao Jiang December 16, 2018. Submitted as coursework for PH240, Stanford
University, Fall 2018

13. Проаналізувати прояв концепції інформації у науці, економіці,

соціальному житті, тощо (у формі реферату, диспуту, обговоренні між
студентами, тощо).

T Dittrich. ‘The concept of information in physics’: an interdisciplinary topical

lecture. Eur. J. Phys. 36 (2015) 015010 (38pp).

14. Поняття редакційної відстані – відстані Левенштейна. Наведіть

власний приклад знаходження відстані Левенштейна за допомогою алгоритму
Вагнера-Фішера (побудуйте матрицю за рекурентною формулою). Поясніть
практичне застосування та зреалізуйте алгоритм у динамічному програмуванні.

У теорії інформації, лінгвістиці та інформатиці відстань Левенштейна або

алгоритм Левенштейна - це рядкова метрика для вимірювання різниці між
двома послідовностями. Відстань Левенштейна між двома словами - це
мінімальна кількість однозначних редагувань (вставок, вилучень чи
підстановок), необхідних для трансформування одного слова в інше. Відстань
Левенштейна також може називатися дистанцією редагування, хоча цей термін
може позначати більшість метрик відстані, відомих як відстань редагування. У
лінгвістиці відстань Левенштейна використовується як метрика для кількісного
визначення мовної відстані або для визначення, наскільки дві фрази
відрізняються одна від одної.
https://www.youtube.com/watch?v=r6LRslQvveQ&ab_channel=
%D0%A4%D0%BE%D0%BA%D1%81%D1%84%D0%BE%D1%80%D0%B4
https://www.youtube.com/watch?
v=4TgAdLQ9oVY&ab_channel=OleksandrTsymbaliuk
https://medium.com/analytics-vidhya/levenshtein-distance-for-dummies-
dd9eb83d3e09