Міністерство освіти і науки України

Інститут спеціального зв’язку та захисту інформації

Національного технічного університету України
«Київський політехнічний інститут імені Ігоря Сікорського»

С.П. Лівенцев, В.П. Павлов,

Я.М. Грохольський, В.П. Романенко

ОСНОВИ ТЕОРІЇ ІНФОРМАЦІЇ ТА КОДУВАННЯ

Частина 1
Основи теорії інформації

Розглянуто Вченою радою ІСЗЗІ КПІ ім. Ігоря Сікорського

для використання у навчальному процесі з підготовки
фахівців першого (бакалаврського) вищої освіти
зі спеціальності 122 “Комп’ютерні науки”

Київ
ІСЗЗІ КПІ ім. Ігоря Сікорського
2018
 УДК 681.5:004.22
Л - 885
Розглянуто Вченою радою
ІСЗЗІ КПІ ім. Ігоря
Сікорського
(Протокол № 3 від
29.11.2018)

Рецензенти: В.В. Козловський, д.т.н., проф.

Відповідальний редактор С.П. Лівенцев канд. техн.

наук, доц.

Л885 Лівенцев С.П., Павлов В.П., Грохольський Я.М. Основи теорії

інформації та кодування: Навч. посібник.  К.: ІСЗЗІ КПІ ім. Ігоря
Сікорського, 2018.  Ч. 1: Основи теорії інформації.  152 с.

У навчальному посібнику викладено методи оцінки інформації при

передачі повідомлень каналами зв’язку за допомогою електричних
сигналів. Навчальний посібник призначений для курсантів та аспірантів,
які навчаються за спеціальністю 122 “Комп’ютерні науки”.

УДК 681.5:004.22
Л - 885

 С.П. Лівенцев, В.П. Павлов, Я.М. Грохольський, В.П. Романенко,

 ІСЗЗІ КПІ ім. Ігоря Сікорського, 2018

2
 ВСТУП

Ця книга є посібником з навчальної дисципліні “Основи теорії

інформації та кодування”, в якій вивчаються закономірності і методи
оцінки інформації та кодування при передачі повідомлень каналами
зв’язку за допомогою електричних сигналів.
Розвиток засобів і систем зв’язку є в даний час одним з
найважливіших факторів, що визначають темпи і досягнення науково-
технічного прогресу. Жодна сфера людської діяльності не може
розглядатися поза залежністю від засобів інформаційного обміну, значення
яких неухильно зростає. При розробці систем зв’язку використовуються не
тільки можливості сучасних технологій, але і досягнення сучасної теорії
телекомунікацій, які дозволяють підвищити обсяги переданої інформації і
якість переданих повідомлень (вірність зв’язку).
Теорія інформації та кодування установлює загальні співвідношення
між структурою повідомлення і параметрами сигналу в каналі зв’язку,
визначає способи передачі інформації каналами зв’язку й оцінює їх
ефективність, установлює граничні значення швидкості і вірності передачі
інформації каналами зв’язку.
Математичною основою теорії інформації та кодування є теорія
ймовірностей, теорія випадкових процесів та спеціальні розділи дискретної
математики.
Багатий внесок у розвиток теорії телекомунікацій зробили вчені
В.О. Котельников, К. Шеннон, Н. Вінер, О.М. Колмогоров, О.Я. Хінчин,
О.О. Харкевич, Д. Міддлтон, Р. Хеммінг, Е. Вітербі, Л.М. Фінк та ін.
Навчальна дисципліна “Основи теорії інформації та кодування”
викладається в циклі дисциплін професійної та практичної підготовки за
напрямом “Комп’ютерні науки”.
Метою навчальної дисципліни “Основи теорії інформації та
кодування” є навчити студентів фундаментальним закономірностям
процесу інформаційного обміну в системах електрозв’язку, теорії сигналів
і принципам їх передачі та обробки в каналах зв’язку на фоні завад,

3
загальним принципам системного аналізу та синтезу систем передачі
інформації.
Посібник складається з двох частин.
Перша частина “Основи теорії інформації” має два розділи. В ній
розглянуто способи математичного опису повідомлень, сигналів і завад,
описані їх основні характеристики. Розглянути основні теореми теорії
інформації.
В другій частині “Основи теорії кодування” викладені питання теорії
кодування сигналів.
Посібник призначений для студентів, курсантів і слухачів вищих
навчальних закладів, які навчаються за напрямом “Комп’ютерні науки”.
Викладений матеріал може бути корисний також інженерам-практикам, які
вирішують заповнити відсутні знання в галузі електрозв’язку при
підвищенні рівня своєї кваліфікації. Пропонований посібник може бути
також корисний аспірантам, ад’юнктам і здобувачам.

4
 ВСТУП ДО ЧАСТИНИ І

Перша частина “Основи теорії інформації” має два розділи.

У першому розділі викладені загальні відомості про системи
електрозв’язку, розглядаються способи математичного опису повідомлень,
сигналів і завад. Викладені такі основні питання: властивості сигналів і
завад, а також принципи їх математичного опису; статистичний аналіз
випадкових сигналів і завад; розкладання сигналів за ортогональними
системами функцій.
У другому розділі розглянуті основи теорії інформації. Досліджені
властивості інформації з погляду її передачі від відправника до
одержувача. У розділі описуються особливості дискретних і неперервних
джерел сигналів, питання аналізу пропускної здатності каналів передачі
дискретних і неперервних повідомлень.

5
 РОЗДІЛ 1. ЗАГАЛЬНІ ВІДОМОСТІ ПРО СИСТЕМИ ПЕРЕДАЧІ
ІНФОРМАЦІЇ

1. ОЗНАЧЕННЯ ТА ТЕРМІНИ В ТЕЛЕКОМУНІКАЦІЯХ

1.1. Задачі, які вирішує теорія інформації. Основні

поняття і означення систем передачі інформації

Функціонування будь-якої системи управління не можна уявити без

обміну інформацією. Інформація  це сукупність відомостей про події,
явища і предмети навколишнього світу. Інформація, що підлягає передачі,
міститься в повідомленні. Повідомлення є формою представлення
інформації. Так, при телеграфній передачі повідомленням є текст
телеграми, який складається з окремих знаків (букв, цифр тощо). При
розмові по телефону повідомленням є неперервна зміна за часом звукового
тиску, що відображає не тільки зміст, але і тембр, ритм та інші властивості
розмови. При передачі рухомих зображень у телевізійних системах
повідомленням є зміна за часом яскравості елементів зображення.
Будь-яке повідомлення є деякою сукупністю відомостей про стан
якоїсь матеріальної системи, які передаються відправником одержувачу.
Одержувачем і відправником повідомлень може бути людина або пристрій.
Передача повідомлень (а, отже, і інформації) на відстань здійснюється за
допомогою якогось матеріального носія (паперу, магнітної стрічки тощо)
або фізичного процесу (звукових чи електромагнітних хвиль, струму
тощо). Фізичний процес, який відображає передане повідомлення,
називається сигналом.
Будь-який фізичний процес, що змінюється у відповідності до
переданого повідомлення, можна використовувати як сигнал. У сучасних
системах управління і зв’язку найчастіше використовуються електричні
сигнали. Фізичною величиною, що визначає такий сигнал, є струм або
напруга. Знаючи закон, який зв’язує повідомлення і сигнал, одержувач
може виявити відомості, що містяться в повідомленні. Для одержувача
повідомлення сигнал заздалегідь невідомий і тому є випадковим процесом.

6
 Повідомлення можуть бути функціями часу, наприклад, промова при
передачі телефонних розмов, температура або тиск повітря при передачі
телеметричних даних, спектакль при передачі по телебаченню і т.п. В
інших випадках повідомлення не є функціями часу (наприклад, текст
телеграми, нерухоме зображення). Сигнал же завжди є функцією часу,
навіть якщо повідомлення таким не є.
Сьогодні зв’язок (тобто передача інформації від відправника до
одержувача) на великі відстані реалізується в основному за допомогою
електричних сигналів. Це пояснюється тим, що електричні сигнали можна
передавати на величезні відстані з дуже великою швидкістю (біля
3108 мс). Зв’язок за допомогою електричних сигналів називають
електрозв’язком. Електрозв’язок  це передача, випромінювання і
приймання знаків, сигналів, письмового тексту, зображень і звуків або
повідомлень будь-якого роду електромагнітними системами.
Повідомлення у формі електричних сигналів передаються каналами
електрозв’язку. Канал електрозв’язку  це сукупність технічних засобів і
середовища поширення, що забезпечує при підключенні кінцевих
абонентських пристроїв (КП-1, КП-2) передачу повідомлень за допомогою
електричних сигналів від відправника до одержувача. Структурна схема
каналу електрозв’язку зображена на рис. 1.1.

Від відправника До одержувача

Лінія
КП-1 Передавач звязку Приймач КП-2

Рис. 1.1
Кінцеві пристрої призначені для перетворення повідомлення в
електричний сигнал (КП-1) при передачі і зворотного перетворення
прийнятого сигналу в повідомлення (КП-2) на приймальній стороні.
Первинні електричні сигнали, отримані на виході КП-1, є
низькочастотними і не можуть безпосередньо передаватися лінією зв’язку.
Тому канал електрозв’язку доповнюється передавачем та приймачем.

7
Передавач призначений для узгодження первинних сигналів із лінією
зв’язку. Приймач здійснює приймання сигналу, який надходить із лінії
зв’язку, і відновлює первинний сигнал.
Лінія зв’язку  це сукупність фізичних електричних ланцюгів, що
мають спільне середовище поширення і використовуються для передачі
електричних сигналів від передавача до приймача.
У залежності від середовища поширення, яке застосовується, лінія
зв’язку може бути кабельною, радіорелейною, супутниковою і т.п.
В залежності від виду повідомлення структура каналу електрозв’язку
є різною: телефонний канал, телеграфний канал, канал передачі даних та
ін. Доцільно мати певний набір типових каналів електрозв’язку,
призначених для передачі сигналів стандартного виду. Такі канали
називають каналами передачі.
Канал передачі – це сукупність технічних засобів і середовища
поширення, що забезпечує передачу сигналів певного виду у визначеній
смузі частот або з визначеною швидкістю передачі.
Крім переданого сигналу в каналі завжди присутні інші випадкові
процеси різноманітного походження, які називають завадами. Наявність
завад викликає принципову неоднозначність при відновленні
повідомлення. Завада, що накладається на корисний сигнал, спотворює
його, тим самим піддаючи руйнації передану інформацію.
Спираючись на викладене вище, можна поставити такі вимоги до
електричних сигналів:
технічна простота формування на передачі й обробки при прийманні;
параметри сигналів повинні відповідати характеристикам каналу
зв’язку;
сигнали повинні мати стійкість до впливу завад;
сигнали повинні мати такі відносні властивості, щоб їх можна було
розпізнавати при прийманні серед інших сигналів (проблема
електромагнітної сумісності).
Визначимо параметри сигналу, які є основними з точки зору його
передачі. До таких параметрів можна віднести тривалість сигналу Тс, його
динамічний діапазон D і ширину спектра Fс.

8
 Тривалість сигналу Тс визначає інтервал часу в межах якого існує
сигнал.
Динамічний діапазон D  це відношення максимальної миттєвої
потужності сигналу до тієї найменшої потужності, яку необхідно
відрізнити від нуля при заданій якості передачі
Pc max
D  10 lg . (1.1)
Pc min
Наприклад, динамічний діапазон мовного сигналу дорівнює 25...30 дБ,
невеликого вокального ансамблю  46...65 дБ, симфонічного оркестру 
70...95 дБ.
Ширина спектра сигналу Fс дає уявлення про швидкість зміни
сигналу на інтервалі його існування. Для будь-якого сигналу можна
зазначити діапазон частот, у межах якого зосереджена його основна
енергія. Цим діапазоном і визначається ширина спектра сигналу.
Добуток ширини спектра сигналу на його тривалість називають
базою сигналу
В = 2FсТс. (1.2)
База сигналу є максимальним числом незалежних параметрів, що
характеризують даний сигнал.
Сигнали з базою рівною або близькою до одиниці (В  1) називають
простими або вузькосмуговими. У системах зв’язку широке застосування
знаходять сигнали з базою істотно більшою від одиниці (В >> 1). Такі
сигнали називають складними або широкосмуговими.
Більш загальна і наочна характеристика  об’єм сигналу
V = Тс FсD. (1.3)
Об’єм сигналу дає загальне уявлення про можливості даної множини
сигналів як носіїв повідомлень.

1.2. Класифікація сигналів

Поняття «сигнал» має неоднозначне тлумачення. У широкому сенсі

слова під сигналом розуміють матеріальний носій інформації. Надалі
поняття «сигнал», якщо це не обумовлено спеціально, буде

9
використовуватися у вузькому сенсі як сигнал, спеціально створюваний
для передачі повідомлення в інформаційній системі. Матеріальну основу
сигналу становить будь-який фізичний об'єкт або процес, званий носієм
(переносником) інформації (повідомлення). Носій стає сигналом в процесі
модуляції. Параметри носія, змінювані в часі відповідно до переданого
повідомлення, називають інформативними.
Як носій інформації використовуються коливання різної природи,
найчастіше гармонійні. У технічних інформаційних системах найбільш
широкого поширення набули носії у вигляді електричної напруги U(t) або
струму I(t). Тому, розглядаючи в подальшому моделі сигналів, будемо
співвідносити їх з електричними сигналами.
При вивченні загальних властивостей каналів зв'язку, сигналів і
завад необхідно абстрагуватися від їх конкретної фізичної природи, змісту
та призначення, замінюючи моделями. Модель – це обраний спосіб опису
об'єкта, процесу або явища, що відображає істотні з точки зору
розв'язуваної задачі фактори.
Питання підвищення ефективності функціонування інформаційних
систем пов'язані з встановленням кількісних співвідношень між основними
параметрами, котрі характеризують джерело інформації і канал зв'язку.
Тому при дослідженні використовують математичні моделі.
Фундаментальні дослідження базуються на методі аналітичного
моделювання, що полягає в створенні сукупності математичних
співвідношень, що дозволяють виявити залежності між параметрами
моделі в загальному вигляді. При цьому можуть використовуватися
моделі, параметри яких суперечать фізичним властивостям реальних
об'єктів. Наприклад, модель сигналу часто подається сумою нескінченного
числа функцій, що мають необмежену тривалість (синусоїд). Тому
важливо звертати увагу на умови, при яких це не заважає отримувати
результати, що будуть відповідати тім, що спостерігаються в дійсності.
Так як джерело повідомлень видає кожне повідомлення з певною
імовірністю, то передбачити точно, як будуть змінені інформативні
параметри, неможливо. Отже, сигнал принципово є випадковим
коливанням і його аналітичною моделлю може бути тільки випадковий

10
процес, який визначається імовірнісними характеристиками.
Проте, в разі детермінованого коливання умовно так само говорять
про детерміновані сигналі. Такий сигнал відображає відоме повідомлення,
яке немає сенсу передавати. Йому відповідає модель у вигляді функції,
повністю визначеної в часі.
Сигнали можна класифікувати за рядом ознак (рис. 1.2).

Сигнали

Детерміновані Випадкові

Неперервні Дискретні

Нескінченні Фінітні

Низькочастотні Високочастотні

Одновимірні Багатовимірні

Вузькосмугові Широкосмугові

Корисні Заважаючі

Періодичні Неперіодичні Стаціонарні Нестаціонарні

Первинні Модульовані Ергодичні Неергодичні

Рис. 1.2
За можливістю точного передбачення миттєвих значень сигналу в
будь-які моменти часу розрізняють детерміновані (регулярні) і випадкові
сигнали.
Детермінованим називають сигнал, математичним описом якого є
задана функція часу. Вивчення моделей детермінованих сигналів
необхідно з багатьох причин. Найважливіша з них полягає в тому, що
результати аналізу детермінованих сигналів є основою для вивчення більш

11
складних випадкових сигналів. Це обумовлено тим, що детермінований
сигнал може розглядатися як елемент множини детермінованих функцій,
що становлять у сукупності випадковий процес. Детерміноване коливання,
таким чином, є виродженою формою випадкового процесу зі значеннями
параметрів, відомими в будь-який момент часу з ймовірністю, яка
дорівнює одиниці.
Детерміновані сигнали мають і самостійне значення. Вони
спеціально створюються для цілей вимірювання, налагодження і
регулювання об'єктів інформаційної техніки, виконуючи роль еталонів.
До випадкових відносяться сигнали, миттєві значення яких
заздалегідь невідомі. Такі сигнали неможливо точно передбачати і
задавати аналітично. Аналітично можна виражати тільки їх
характеристики.
В залежності від множини можливих значень сигналів і їх подання за
часом розрізняють чотири основні види сигналів (рис. 1.3): неперервний за
станом і за часом (а); дискретний за станом і неперервний за часом (б);
неперервний за станом і дискретний за часом (в); дискретний і за станом і
за часом (г).

с(t)
с(t) с6
с5
с4
с3
с2
с1

0 t 0 t
а) б)
с(t) с(t)
с6
с5
с4
с3
с2
с1

0 t1 t2 t3 . . . tn-1 tn t 0 t1 t2 t3 . . . tn-1 tn t
в) г)
Рис. 1.3

12
 Розглянуті сигнали можна віднести до аналогових або цифрових.
Під аналоговими сигналами розуміють сигнали, які описуються
функціями неперервного або дискретного часу і неперервною множиною
можливих значень. До них належать сигнали, зображені на рис. 1.3, а-в.
До цифрових сигналів належать сигнали дискретні за станом і часом
з однаковими часовими інтервалами (рис. 1.3, г). Термін «цифровий»
відображає можливість присвоєння кожному значенню сигналу певного
номера (цифри).
Можна також зробити класифікацію сигналів у залежності від виду
повідомлень, які передаються каналом електрозв’язку: телефонні сигнали,
сигнали радіомовлення, телеграфні сигнали, сигнали передачі даних,
телеметричні сигнали, факсимільні сигнали, телевізійні сигнали та ін.
Кожний із вказаних вище сигналів може бути віднесений до
аналогових або цифрових сигналів.
За тривалістю існування сигнали можна розділити на нескінченні і
фінітні, тобто сигнали з обмеженим часом існування.
За положенням спектрів сигналів на шкалі частот розрізняють
низькочастотні сигнали, спектр яких розташований в області звукових
частот (до кількох десятків кілогерц), і високочастотні сигнали, спектр
яких розташований вище області звукових частот.
Сигнали, що описуються однією функцією часу, прийнято називати
одномірними, але іноді зручно вводити в розгляд багатомірні сигнали
вигляду

A(t )  a1 (t ), a2 (t ), ..., an (t ) , (1.4)

що утворюються деякою множиною одномірних сигналів. Ціле число n

називають розмірністю такого сигналу.
За шириною спектра сигнали поділяються на вузькосмугові і
широкосмугові. Якщо ширина спектра сигналу f  fв  fн, де fв і fн
відповідно верхня і нижня граничні частоти спектра, значно менша від
середньої частоти f0  0,5(fв + fн), то сигнал називається вузькосмуговим.
При сумірності f і f0 сигнал називають широкосмуговим.
За приналежністю до системи зв’язку розрізняють корисні і

13
заважаючи сигнали. Заважаючими називають сигнали, які для одержувача
повідомлень даної системи не несуть інформації і, відповідно, є завадою.
Далі класифікацію детермінованих і випадкових сигналів можна
проводити незалежно.
За характером зміни за часом детерміновані сигнали можна
розділити на періодичні і неперіодичні. Періодичні сигнали визначаються
аналітичним виразом вигляду
A(t )  A(t  kT ) , (1.5)

де k  будь-яке ціле число в інтервалі    k   ; Т  період сигналу.

Такі сигнали мають нескінченну енергію і є корисною абстракцією.
Реальні сигнали мають кінцеву енергію і є неперіодичними.
У системах передачі повідомлення, насамперед, перетворюється в
пропорційний йому електричний процес, що називають первинним сигналом.
Первинні сигнали (як правило, низькочастотні процеси) у більшості
випадків не можуть безпосередньо передаватися каналами передачі і
піддаються перетворенню (наприклад, переносу в область більш високих
частот) з метою узгодження їх параметрів із характеристиками каналу
передачі. Ця задача вирішується шляхом модуляції, за допомогою якої
один або декілька параметрів несучого високочастотного коливання (які
називаються інформаційними) змінюються відповідно за законом зміни
первинного сигналу. Інформаційними параметрами можуть бути
амплітуда, частота, початкова фаза. Таким чином, розрізняють первинні і
модульовані сигнали.
Серед випадкових сигналів розрізняють стаціонарні і нестаціонарні,
а також ергодичні і неергодичні. Ознаки класифікації випадкових сигналів
будуть більш докладно розглянуті в наступних главах.

1.3. Класифікація завад

Завадою називається будь-яка стороння дія на сигнал, яка заважає

правильному його прийманню.
Класифікація завад, що відповідає їх фізичній природі й
особливостям впливу на достовірність передачі інформації, наведена на

14
 рис. 1.4.

Завади

Мультиплікативні Адитивні Міжсимвольні

Природні Навмисні

Флуктуаційні Зосереджені Зосереджені Зосереджені за

за часом за спектром спектром і за часом

Рис.1.4

У загальному виді вплив завади x(t) (або ж кількох завад

x1 (t ), x2 (t ), ..., xn (t ) ) на переданий (корисний сигнал) A(t) може бути
виражено оператором
Z (t )  V ( A(t ), x(t )), (1.6)
де Z(t)  прийнятий (спотворений) сигнал.
Якщо цей оператор можна подати у вигляді суми
Z (t )  A(t )  xa (t ) , (1.7)
то завада xa(t) називається адитивною.
Завада, дія якої призводить до нелінійних змін параметрів корисного
сигналу А(t), називається мультиплікативною завадою. Наприклад, завада,
дія якої може бути виражена оператором у вигляді добутку
Z (t )  xм (t )  A(t ) , (1.8)
є мультиплікативною.
Міжсимвольні завади обумовлені потребою до підвищення
швидкості передачі інформації при обмеженій смузі частот. Канал зв’язку з
обмеженою смугою пропускання спотворює спектр переданого сигналу,
що призводить до розтягу сигналів за часом і, отже, до накладання їх один
на одного. Вплив міжсимвольних завад на демодулятор виявляється

15
одночасно як мультиплікативний і адитивний.
При одночасному впливі адитивної і мультиплікативної (1.8) завад
спотворений прийнятий сигнал має вигляд
Z (t )  xм (t )  A(t )  xа (t ) . (1.9)
За природою виникнення завади поділяються на навмисні (що
спеціально створюються за допомогою виділених для цієї мети технічних
засобів) і ненавмисні (природні).
Завади також розрізняються за своїми електричними і статистичними
характеристиками. У ряді випадків одне й теж коливання для однієї
системи передачі є сигналом, а для іншої  завадою.
За способом створення розрізняють активні завади, які формуються
за допомогою пристроїв, що випромінюють електромагнітну енергію, і
пасивні навмисні завади. Пасивними називаються завади, що створюються
за рахунок ефекту зміни напрямку поширення, перевипромінювання
електромагнітних хвиль.
З точки зору боротьби із завадами технічними методами, у першу
чергу цікавлять їх спектрально-часові характеристики.
Як показує аналіз результатів досліджень, описаних у вітчизняній і
зарубіжній літературі, адитивні завади за електричною і статистичною
структурою можна розділити на три основних класи:
флуктуаційні,
імпульсні (зосереджені за часом),
вузькосмугові (зосереджені за спектром).
Флуктуаційна завада  це неперервний випадковий процес у вигляді
суми нескінченно великої кількості елементарних коливань, які збуджуються
нерегулярною послідовністю короткочасних імпульсів, інтервал слідування
яких менше тривалості перехідних процесів у приймальному тракті.
Типовий приклад флуктуаційної завади  внутрішні шуми приймача.
Причиною шумів є нерівномірність емісії електронних приладів, інжекції
носіїв у напівпровідникових приладах (діодах, транзисторах, інтегральних
мікросхемах), флуктуації зарядів у провідниках. Крім того, завада може
проникати в приймач ззовні. Флуктуаційна завада (ФЗ) має найбільший
руйнуючий вплив на корисний сигнал з таких причин:

16
 вона завжди присутня у каналі зв’язку,
перекриває сигнал за часом та за спектром ( t з   с , f з  f с ),
добре апроксимує суму завад від інших численних джерел,
інші завади при проходженні через селективні пристрої приймача
часто одержують властивості флуктуаційної завади.
Флуктуаційну заваду можна записати в такому вигляді
B(t )  b(t )  cos(0t  (t )) , (1.10)

p(В) 2 2 де B(t)  миттєве значення завади,

1  2
2 0 = 2f  кутова частота настройки
1 0

загального тракту приймача,

2
2 b(t), (t)  відповідно обвідна і початкова
фаза ФЗ.
Миттєві значення ФЗ досить точно
0 В
можна описати гауссівським розподілом
Рис. 1.5 ймовірностей (рис. 1.5)
B2
1 
p( B)  e 2 2 , (1.11)
2 2

де 2  дисперсія завади.
Обвідна флуктуаційної завади описується законом Релея (рис. 1.6.)
b2
b  2
p(b)  2 e 2 . (1.12)

Початкова фаза ФЗ розподілена за рівномірним законом в інтервалі
1
0...2 (рис. 1.7) p()  . (1.13)
2

2 2 2 p()
p(b) 1 1 < 2

2
2


0 0  
b
Рис. 1.6 Рис. 1.7

17
 Імпульсна завада (ІЗ) є випадковою (неперіодичною) послідовністю
імпульсів, які збуджуються короткочасними ЕРС (рис. 1.8).

E(t)

0
t

B(t)

0
t

Рис. 1.8

При цьому інтервал слідування збуджуючих імпульсів більший, ніж

тривалість перехідних процесів у приймальному тракті. Тривалість цих
процесів менша тривалості сигналу, а ширина спектра такої завади значно
більша, ніж ширина спектра корисного сигналу ( t з  с , f з  f с ).
Джерелами імпульсних завад є: атмосферні явища, промислові
електроустановки, лінії електропередачі (ЛЕП), автомобілі з двигунами
внутрішнього згорання, різноманітні порушення контактів в апаратурі
зв’язку та ін.
Атмосферні завади обумовлені грозами і штормами, сніговими і
пиловими бурями. Спектри цих завад розташовані нижче 300 МГц (максимум у
діапазоні від 2 до 30 кГц). Прослуховуються вони у вигляді шерехів, трісків,
клацань.
Електротранспорт (трамваї, тролейбуси, електропоїзди) є джерелом
імпульсних завад. Під час його руху в моменти порушення контакту між
тролем і струмоприймачем, а також рейками і колесами, виникають сильні
імпульсні завади, що поширюються проводами контактної мережі і
випромінюються в простір.
У автомобільного транспорту при загоранні свічки двигуна

18
внутрішнього згорання електричними проводами проходить короткий
імпульс струму, що призводить до випромінювання завад у діапазоні до
2...5 МГц.
Апарати дугового зварювання створюють імпульсні завади в трьох
частотних смугах із центральними частотами 750 кГц, 3 МГц і 20 МГц.
У лініях електропередачі причиною імпульсних завад є розряди на
ізоляторах, комутаційні процеси (перемикання ліній), коронування (пов’язане
з іонізацією повітря). Спектри таких завад займають смугу частот від 3 кГц до
десятків МГц.
Розподіл кількості імпульсів завади за одиницю часу
підпорядкований закону, близькому до закону Пуассона (рис. 1.9)
n0n e  n0
p(n) p ( n)  , (1.14)
n!
де n0  середнє число імпульсів завади
за одиницю часу.
0 У кожному конкретному
n0 n
випадку закон розподілу буде
Рис. 1.9
визначатися числом і характером
джерел ІЗ, типом каналу зв’язку тощо.
Вузькосмуговими (зосередженими за спектром) називають завади у
вигляді коливань з параметрами, які змінюються повільно або є
постійними в інтервалі тривалості сигналу.
Основна потужність вузькосмугових завад сконцентрована в смузі
частот, сумірних з шириною спектра корисного сигналу, тобто
t з  с , f з  f с . (1.15)
З точки зору впливу зосереджених за спектром завад на приймання
сигналу їх можна розділити на три види:
завади, спектр яких зосереджений у смузі частот, що цілком або
частково збігається зі смугою частот сигналу;
завади, спектр яких лежить поза смугою частот сигналу;
завади, спектр яких на вході приймального пристрою лежить поза
смугою частот сигналу, але в результаті нелінійних перетворень у
приймальному пристрої утворюються складові, що потрапляють у ту ж

19
смугу частот, що і сигнал.
Граничним випадком таких завад є гармонійне коливання.
Джерелами вузькосмугових завад є: сторонні радіостанції, у тому
числі станції радіозавад; генератори (промислові, медичні та інші) високої
частоти; взаємні (міжканальні) завади, що виникають внаслідок взаємодії
електромагнітних полів радіоелектронних засобів.
Між вузькосмуговими й імпульсними завадами існує співвідношення
двоїстості  представленню вузькосмугової завади в частотній області
відповідає представлення імпульсної завади в часовій області і навпаки.

Контрольні запитання

1. Дайте означення інформації, сигналу, каналу електрозв’язку.

2. Наведіть основні вимоги до електричних сигналів.
3. Які параметри сигналу є основними з точки зору його передачі
каналом зв’язку?
4. За якими ознаками класифікуються електричні сигнали?
5. Дайте означення цифрового і аналогового сигналу.
6. Як класифікуються адитивні завади за електричною і
статистичною структурою?
7. Які завади називають флуктуаційними?
8. Чому флуктуаційна завада має найбільший руйнуючий вплив на
корисний сигнал?
9. За якими законами розподілені миттеві значення, обвідна та
початкова фаза флуктуаційної завади?
10. Які завади називають імпульсними (зосередженими за часом)?
11. Як співвідносяться параметри імпульсної завади і сигналу?
12. Назвіть джерела імпульсних завад.
13. Які завади називають вузькосмуговими (зосередженими за
спектром)?
14. Назвіть джерела вузькосмугових завад.
15. Як співвідносяться параметри імпульсної та вузькосмугової завади?

20
 РОЗДІЛ 2. ОСНОВИ ТЕОРІЇ ВИПАДКОВИХ ВЕЛИЧИН ТА
ПРОЦЕСІВ

Реальні сигнали і завади є випадковими процесами й описуються

випадковими функціями часу. Словом “випадковий” підкреслюється та
обставина, що вгадати заздалегідь точний перебіг процесу неможливо.
Типовим прикладом випадкового процесу може служити напруга
Z (t )  A(t )  B(t ) на вході приймача. Параметри формованого передавачем
сигналу А(t) (амплітуда, частота, фаза) змінюються випадковим чином
відповідно до переданого повідомлення. Крім того, у процесі передачі
сигнал потрапляє під вплив різноманітних завад В(t), що мають
випадковий характер. Спостерігаючи напругу Z(t) у даний момент, ми не
можемо з певністю сказати, яке буде її значення в наступні моменти часу.
Тому при аналізі сигналів і завад необхідно використовувати методи теорії
імовірностей і випадкових процесів.

2.1. Імовірнісні характеристики випадкових величин

Характерною рисою випадкового сигналу є те, що його миттєві

значення не можуть бути заздалегідь передбачені й обчислені, тобто
значення сигналу в будь-який момент часу є випадковою величиною.
Проте, вивчаючи такий сигнал, можна зробити висновок, що ряд його
властивостей дуже точно описується в імовірнісному значенні.
Прикладами реальних випадкових величин є: рівень сигналу в даний
момент часу, кількість викликів на телефонній станції за фіксований
проміжок часу, кількість знаків в одній довільно вибраній телеграмі.
Сучасна теорія імовірностей узагальнює великий матеріал,
накопичений наукою при вивченні найрізноманітніших випадкових явищ.
В основі теорії імовірностей лежить поняття повної множини
«елементарних наслідків» або випадкових подій A  A1 , A2 , ..., An , ....
Символи Ai позначають усі можливі наслідки деякого випадкового
експерименту. Кожній події Ai  А ставиться у відповідність дійсне число
P(Ai), що називається імовірністю цієї події.

21
 Імовірність події визначається відносною частотою успішних
результатів випробувань. Якщо проведено N незалежних випробувань,
причому в n із них спостерігалася подія Ai, то вибіркова оцінка імовірності
P(Ai), яку можна одержати з цієї серії, дорівнює
n n
P( Ai )  lim
 . (2.1)
N  N N
Аналіз даного вище визначення імовірності дозволяє виявити такі
основні властивості імовірностей.
1. Імовірність випадкової події  величина невідємна і не
перебільшує одиниці 0  P ( Ai )  1.
2. Об’єднання всіх подій, що містяться в А, є достовірною подією
 P( Ai )  1.
Ai A

3. Якщо А  деяка складна подія, то її імовірність дорівнює сумі всіх

елементарних імовірностей P( A)   P( Ai ) .
Ai A

Математичне поняття імовірності випадкової події є абстрактною

характеристикою, яка властива не самим об’єктам матеріального світу, а їх
теоретично-множинним моделям.
Величина Х називається дискретною випадковою величиною, якщо
усі її можливі значення утворюють скінченну або нескінченну
послідовність чисел х1, х2, …, хт і якщо прийняття нею кожного з
зазначених значень є випадкова подія з певною імовірністю.
Будь-яке правило, що дозволяє знаходити імовірності всіх можливих
значень величини Х, визначає закон розподілу її імовірностей.
Дискретні випадкові величини не вичерпують усіх типів випадкових
величин. У теорії імовірностей часто доводиться проводити розрахунок
таких випадкових величин, можливі значення яких суцільно заповнюють
деякий інтервал. Такі випадкові величини одержали назву неперервних.
Щільністю розподілу імовірностей випадкової величини Х в точці х
називається границя відношення
P( x  X  x  x)
lim  p( x). (2.2)
x0 x

22
 Ми будемо розглядати лише такі випадкові величини, для яких ця
границя існує в кожній точці х. Для таких величин імовірність попадання
значення Х в інтервал (х; х + dх) дорівнює
P( x  X  x  dx)  p( x)dx . (2.3)
За допомогою інтегрування можна знайти імовірність попадання
значення неперервної випадкової величини Х в будь-який інтервал (х1; х2)
x2
P( x1  X  x2 )   p( x)dx. (2.4)
x1

Якщо ж Х  дискретна випадкова величина, що приймає фіксовані

значення {x1, x2, … , xm, …} з імовірностями {P1, P2, …, Pm, …} відповідно,
то для неї
p( x)   Pi δ( x  xi ) , (2.5)
i
де (х)  дельта-функція.
Як в одному, так і в другому випадку щільність імовірностей повинна
задовольняти умові невідємності p(x) ≥ 0 і умові нормування

 p( x)dx  1 . (2.6)

Функцією розподілу імовірностей випадкової величини Х називається
імовірність того, що величина Х прийме значення менше ніж деяке число х
F ( x)  P( X  x) . (2.7)
Для дискретної випадкової величини функція розподілу імовірностей
дорівнює сумі імовірностей тих її значень хm, що менші ніж х
F ( x)   Pm .
xm  x

Для неперервної випадкової величини відповідно до формули (2.4)

функція розподілу імовірностей дорівнює інтегралу від щільності
розподілу імовірностей
x
F ( x)   p(t )dt .


23
 Якщо Х може приймати будь-які значення, то F(x) є неспадною
функцією, значення якої лежать в інтервалі 0 ≤ F(x) ≤ 1.
В результаті проведення експерименту часто одержують середні
значення тих або інших функцій випадкових величин. Якщо (x)  задана
функція від х (виходу випадкового випробування), то, за визначенням, її
середнє значення дорівнює

( x)   ( x) p( x)dx .


Риска позначає операцію усереднення.

З цього виразу випливає, що найбільший внесок у середнє значення
дають ті значення х, при яких одночасно великі як сама функція (x), так і
щільність імовірностей p(x).
В будь-якій статистичній теорії широко застосовуються особливі
числові характеристики випадкових величин, які називаються моментами.
Момент n-го порядку випадкової величини Х  це середнє значення
n-го степеня випадкової змінної

n n
X  x p( x)dx . (2.8)

Найпростішим є момент першого порядку, який називається
математичним очікуванням mx

mx  x   x  p( x)dx . (2.9)

Математичне очікування служить теоретичною оцінкою для
середнього значення випадкової величини, яка одержується в достатньо
великих серіях іспитів.
Момент другого порядку визначається як усереднене значення
квадрата випадкової величини

2 2
m2  x  x p( x)dx .


24
 У теорії імовірностей використовуються і центральні моменти
випадкових величин, що визначаються як

n n
Mn = ( x  x )   (x  x) p( x)dx . (2.10)

Важливим центральним моментом є дисперсія
σ 2x  M 2  ( x  x ) 2  Dx . (2.11)

Очевидно, що σ 2x  ( x 2  2 x  x  x 2 )  x 2  x 2 .

Величина σ x  σ 2x називається середньоквадратичним відхиленням.

Середньоквадратичне відхилення служить для кількісного опису міри
розсіювання результатів окремих випадкових випробувань щодо
вибіркового середнього.

2.2. Приклади розподілів випадкових величин

Рівномірний розподіл. Нехай деяка випадкова величина Х може

приймати значення лише з області x1  x  x 2 , причому імовірності
попадання в будь-які внутрішні інтервали однакової довжини Δх
однакові.

1.1.1.1.1 Тоді щільність імовірностей дорівнює (рис. 2.1)

 0, x  x1 ,
 1
p( x)   , x1  x  x2 , (2.12)
x
 2  x1
 0, x  x2 .
Знайдемо функцію розподілу імовірностей

p(x)
 0, x  x1 ,
1 x  x  x1
F ( x)   p( x)dx   , x1  x  x2 ,
x2  x1   x 2  x1
 1, x  x2 .

0 x2  x1 x
x1 mx  x2
2

Рис. 2.1

25
 Математичне очікування дорівнює:
x2
1 x2  x1
x
x2 - x1
 xdx  2
x1

і збігається з центром інтервалу (x1, x2).

Дисперсія випадкової величини з рівномірним розподілом дорівнює
( x 2 - x1 ) 2
 σ 2x .
12
Рівномірний розподіл часто використовується в теорії похибок.
Гауссівський (нормальний) розподіл. У теорії випадкових сигналів
фундаментальне значення має гауссівська щільність імовірностей
 ( x  m) 2
1 2σ 2
p ( x)  e , (2.13)
2
2πσ
яка визначається двома числовими параметрами m і σ 2 .
Графік цієї функції є дзвоноподібною кривою з єдиним максимумом
у точці x = m.
На рис. 2.2 подано два графіки гауссівської щільності імовірностей
для різних значень параметрів  і m.

p (x ) p (x ) 1  2
1

2

m 1= 0 m2 x 0 x

Р и с . 2 .2
Функція розподілу гауссівської випадкової величини дорівнює
 ( x  m) 2

1 2σ 2
F ( x) 
2 e dx . (2.14)
2πσ 

26
 xm
Заміна змінної t  призводить її до вигляду
σ
xm
σ t 2
1  x  m
F ( x) 
2π
 
e 2 dt   ,
 σ 
(2.15)


x t 2
1
де ( x)   e 2 dt  інтеграл імовірностей або функція Крампа.
2π  
Графік функції F(x) має вигляд монотонної кривої, що змінюється від нуля
до одиниці (рис. 2.3).

1 F (x)

0 x
Р и с . 2 .3

2.3. Щільність розподілу імовірностей функції від випадкової

величини

Припустимо, що Y  випадкова величина, яка пов’язана з Х

однозначною функціональною залежністю виду y = f(x). Імовірності
попадання випадкової точки х в інтервал шириною dx і випадкової точки у
у відповідний йому інтервал шириною dy  f ( x) dx однакові
Px ( x)dx  Py ( y )dy . Звідки

dx dg
Py ( y )  Px ( x)  Px ( g ( y )) , (2.16)
dy dy
де g(y) = x  функція, обернена f(x) = y.

27
 Якщо функціональний зв’язок між величинами Х і Y неоднозначний,
так що є кілька обернених функцій x1 = g(y), x2 = g2(y), …, xn = gn(y), то
можна записати
n
dxi
Py ( y)   p( xi ) . (2.17)
i 1 dy
У теорії зв’язку використовують статистичне середнє виду

jυx jυx
Θ( υ)  e   p ( x )e dx , (2.18)

що називається характеристичною функцією випадкової величини Х.
З точністю до коефіцієнта функція Θ( υ) є перетворенням Фур’є (див.
главу 5) від щільності імовірностей і тому

1
p( x)   Θ( υ)e  jυx dυ . (2.19)
2 π 
Ясно, що ту саму випадкову величину можна описувати як
характеристичною функцією, так і щільністю імовірностей. Вибір того або
іншого варіанта опису диктується зручностями обчислень.
Для випадкової величини з рівномірним розподілом на інтервалі
0≤x≤а
e jaυ  1
Θ( υ)  ,
jaυ
а на інтервалі x1 ≤ x ≤ x2
e jυx2  e jυx1
Θ( υ)  .
jυ( x 2  x1 )
Для випадкової гауссівської величини з заданими параметрами (m і )
 σ 2 υ2 
 jmυ 
 2 
Θ( υ)  e  .

Характеристична функція дозволяє достатньо просто обчислювати

моменти випадкових величин


d n Θ( υ) n n
 j x p( x)e jυx dx .
n
dυ 

28
Якщо вважати υ  0, знайдемо
m n  j  n Θ (n) (0) . (2.20)

2.4. Статистичні характеристики систем випадкових величин

Властивості випадкових сигналів прийнято описувати, вивчаючи

сукупності величин, які відносяться до різноманітних фіксованих
моментів.
Розглянемо деякі питання теорії багатомірних випадкових величин.
Нехай маємо випадкові величини {X1, X2, …, Xn}. За аналогією з
одновимірним випадком функція розподілу буде дорівнювати
F(x1, x2, …, xn) = P(X1 < x1, X2 < x2, …, Xn < xn). (2.21)
Багатовимірна щільність імовірностей, що відповідає їй, задовольняє
співвідношенню
p(x1, x2, …, xn)dx1dx2 …dxn = P{x1 < X1 ≤ x1 + dx1,…, xn < Xn ≤ xn + dxn}. (2.22)
Очевидно, що функція розподілу може бути знайдена як інтеграл від
щільності імовірностей
x1 xn
F ( x1 , x2 , ...xn )   ...  p( x1 , x2 ... xn )dx, ... dxn . (2.23)
 
Маючи відповідну багатовимірну щільність імовірностей, можна
знайти середнє значення будь-яких комбінацій із розглянутих випадкових
величин і, зокрема, обчислити їх моменти. Математичний опис параметрів
двовимірної випадкової величини має вигляд

X1    x1 p( x1 , x 2 )dx1dx2 ,


X2    x 2 p( x1 , x 2 )dx1dx2 .

Дисперсія дорівнює

29
 
σ12   ( x1  x1 )
2
p( x1 , x 2 )dx1dx2 ,


σ 22   ( x2  x2 )
2
p( x1 , x 2 )dx1dx2 .

В порівнянні з одновимірним випадком є можливість утворювати
змішаний момент другого порядку  коваріаційний момент системи двох
випадкових величин

k12  X 1 X 2    x1x2 p( x1, x2 )dx1dx2 . (2.24)


Коваріаційний момент служить кількісною характеристикою ступеня

статистичного зв’язку двох випадкових величин. Часто зручніше
застосовувати кореляційний момент K12, що визначається як середнє
значення добутку ( X 1  X 1 )  ( X 2  X 2 )

K12    ( X 1  X 1 )  ( X 2  X 2 ) p( x1 , x2 )dx1dx2  k12  X 1  X 2 . (2.25)

Теорія випадкових величин вивчає імовірнісні явища «у статиці»,
розглядаючи їх як деякі зафіксовані результати експериментів.
Для опису випадкових сигналів, які змінюються за часом, методи
класичної теорії імовірностей виявляються недостатніми. Подібні задачі
вивчає розділ математики, який називається теорією випадкових процесів.

2.5. Випадкові процеси. Основні поняття і означення

Випадковим процесом X(t) називається процес, значення якого при

будь-якому фіксованому t = t1 є випадковою величиною X(t1). Випадковою
є величина, яка у результаті досліду із випадковим результатом приймає те
або інше значення.
Випадкова величина X(t1), в яку перетворюється випадковий процес
при t = t1, називається перерізом випадкового процесу, що відповідає
даному значенню аргументу t (рис. 2.4).

30
 Випадковий процес можна записати у вигляді функції двох
аргументів  часу t і елементарної події 
X (t )  (t , ω), ω  A, t T , X (t )  S , (2.26)
де   елементарна подія; А  простір елементарних подій; Т  область
(множина) значень аргументу t функції Х(t); S  множина можливих
значень випадкового процесу Х(t) (простір станів).
Припустимо, що дослід, у ході якого випадковий процес протікає так
чи інакше, вже зроблений, тобто відбулася елементарна подія   A. Це
означає, що залежність випадкового
X (t) процесу від t прийняла цілком
визначений вид. Це вже звичайна
невипадкова функція аргументу t.
Невипадкову функцію х(t), в яку
0
t = t1 t перетворюється випадковий процес
X (t)
Х(t) у результаті досліду, називають
реалізацією випадкового процесу.
Користуючись формулою
(2.27), можна записати реалізацію як
0
X (t) t = t1 t функцію від аргументу t, що
змінюється в межах множини Т, при
фіксованій події  = 0
X(t) = (t, 0), t  T. (2.27)
0
t = t1 t Будь-яка реалізація х(t)
належить множині S можливих
Р и с . 2 .4
x ( t) x 1 ( t) значень випадкового процесу Х(t):
x(t)  S.
Множина реалізацій xk(t)
випадкового процесу X(t)
x k( t) x 2 ( t) називається ансамблем (або
сімейством) реалізацій (рис. 2.5).
0 t Ансамбль реалізацій
Р и с . 2 .5
випадкового процесу  це основний

31
експериментальний матеріал, на основі якого можна одержати
характеристики випадкового процесу.
Основні ознаки, за якими розрізняються випадкові процеси,
стосуються природи простору станів S і часового параметра Т.
Випадковий процес X(t) називають процесом з дискретним часом,
якщо система, у якій він протікає, може змінювати свій стан тільки в
моменти часу t1, t2, … tj, …, що утворюють дискретну множину.
Якщо випадковий процес Х(t) розглядається в будь-який момент t
деякого проміжку часу, то такий процес називається процесом з
неперервним часом.
Процес Х(t) називається процесом з неперервною (дискретною)
множиною значень, якщо будь-який його переріз є неперервна (дискретна)
випадкова величина.
Таким чином, у залежності від характеру зміни часу t і множини
значень S усі випадкові процеси можна розділити на чотири класи:
1. Процеси з неперервним часом і неперервною множиною значень.
2. Процеси з неперервним часом і дискретною множиною значень.
3. Процеси з дискретним часом і неперервною множиною значень.
4. Процеси з дискретним часом і дискретною множиною значень.

2.6. Функції розподілу імовірностей випадкових процесів

Розглянемо N реалізацій випадкового процесу X(t). Виділимо з їх

числа n1 реалізацій, які у момент часу t1 були менші від деякого рівня x1.
n1( x1, t2 )
Очевидно, при великому N відношення буде наближатися до
N
постійного числа, яке називається імовірністю того, що при t = t1
випадкова функція X(t) знаходиться нижче рівня x1 і є функцією двох
змінних. Така функція називається одновимірною функцією розподілу
імовірностей випадкового процесу.
Одновимірна функція розподілу або інтегральний закон розподілу
перерізу випадкового процесу X(t1) визначається як імовірність того, що
випадкова величина X(t1) не перевищує деякого значення x1

32
 F(x1) = P{X(t1) < x1}. (2.28)
Функція розподілу імовірностей має такі властивості.
1. Імовірність того, що випадкова величина X(t1) буде знаходитися
нижче рівня x1 = ∞ дорівнює: F(∞ , t1) = P[X(t1) < ∞] = 0.
2. Імовірність того, що випадкова величина X(t1) буде знаходитися не
вище рівня x1 = +∞ дорівнює: F(+∞ , t1) = P[X(t1) < +∞] = 1.
3. Функція розподілу імовірностей F(x1, t1) є неспадною функцією:
F1 ( x1, t1 )  F1 ( x1 , t1 ) при x1  x1 .
4. Імовірність того, що випадкова величина X(t1) знаходиться у
визначених межах, дорівнює різниці значень функції розподілу
імовірностей при верхній і нижній межах
P[ x1  X (t )  x1]  F ( x1, t )  F1 ( x1 , t ) .
Більш повною характеристикою є багатомірний закон розподілу.
Багатовимірною функцією розподілу Fn ( x1 , ..., xn ; t1 , ..., t n )
випадкового процесу Х(t) називається функція розподілу системи n будь-
яких його перерізів Х(t1, …, tn):
Fn ( x1 , ..., xn ; t1 , ..., t n )  P( X (t )  x1 , ..., X (t )  xn ) . (2.29)
З функції розподілу імовірностей вищого порядку можна одержати
функцію розподілу нижчого порядку. Так, із двовимірної функції
розподілу можна одержати одновимірну, якщо прийняти x2 = 0:
P[ X (t1 )  x1; X (t 2 )  ]  F2 ( x1 , x2 ; t1 , t 2 )  F1 ( x1 , t1 ) . (2.32)
Поряд з інтегральною функцією розподілу в теорії електрозв’язку
широко використовується диференціальна функція або одновимірна
щільність імовірностей перерізу випадкового процесу
F ( x1 , t1 )
 p( x1 , t1 )  P{x1  x(t1 )  x1  x) , (2.30)
x1
яка характеризує імовірність попадання випадкової величини X(t1) у
проміжок (x1, x1 +∆x), якщо ∆x0 (рис. 2.6).

33
 p(x)

0 x1 x1+x t

Рис. 2.6
x1
F1 ( x1 , t1 )   p1 ( x1, t1 )dx1 . (2.31)


Щільність імовірностей має розмірність величини x1.

Багатовимірна щільність розподілу імовірностей визначається як

d n Fn ( x1 , ..., xn ; t1 , ..., t n )
pn ( x1 , ..., xn ; t1 , ..., t n )  .
dx1 , ..., dxn
З розглянутого випливають такі властивості щільності розподілу
імовірностей.
1. Властивість додатності: pn(x1, …, xn; t1, …, tn) ≥ 0 (імовірність не
може бути від’ємною величиною).
2. Властивість нормування
  
  ...  pn ( x1 , , xn ; t1 , ..., t n )dx1dx2 ... dxn  1
  
(як імовірність достовірної події).
3. Властивість симетрії  функції pn ( x1 , ..., xn ; t1 , ..., t n ) повинні бути
симетричні щодо будь-яких перестановок параметрів хi.
4. Властивість узгодженості
  
pm ( x1,,xm ; t1,...,t m )    ...  pn(x1,,xm , xm 1 ,..., xn ; t1,,t n )dx1dx2 ...dxn .
  
Докладний опис процесу не завжди буває необхідним. Надалі ми
переконаємося, що для вирішення багатьох практичних задач достатньо

34
знати одновимірний закон розподілу або навіть тільки числові
характеристики перерізів і реалізацій.
Взаємні функції розподілу імовірностей випадкових процесів.
Дотепер розглядався тільки один випадковий процес X(t), для якого треба
було обчислити щільність і функцію розподілу імовірностей n-го порядку
рn(x1, …, xn; t1, …, tn) і Fn (x1, …, xn; t1, …, tn).
Одночасно можна розглядати два випадкових процеси X(t) і Y(t), які
можуть бути пов’язані між собою статистично.
Найпростішими характеристиками таких процесів є двовимірні
взаємні функції розподілу імовірностей у довільний момент часу t1,
наприклад
F2(x1, y1, t1) = P[X(t1) ≤ x1; Y(t1) ≤ y1]. (2.34)
Цей вираз визначає імовірність поєднання двох таких подій:
1. Випадковий процес X(t1) у момент t1 знаходиться не вище рівня x1.
2. Випадковий процес Y(t1) у той же момент часу знаходиться не
вище рівня y1.
Функція (2.34) називається взаємною функцією розподілу
імовірностей.
Якщо функції X(t1) і Y(t1) взаємозалежні, то
F2(x1, y1, t1) = P[X(t1) < x1] Px (t1 )  x1 [Y(t1) < y1], (2.35)

де Px (t1 )  x1 [Y (t1 )  y1 ]  умовна імовірність того, що випадкова величина

Y(t1) знаходиться не вище рівня x1.
Якщо процеси X(t1) і Y(t1) незалежні, то вираз (2.35) спрощується
F2(x1, y1, t1) = P[X(t1) < x1]P[Y(t1) < y1] = F1(x1, t1)F2(y1, t1), (2.36)
де F1(x1, t1) і F2(y1, t1)  одновимірні функції розподілу імовірностей
процесів X(t) і Y(t).
У загальному випадку статистичний зв’язок між двома випадковими
процесами існує не тільки в один і той же момент часу. Вплив однієї
величини на другу може бути помітним у більшій або меншій мірі в
залежності від того, який часовий інтервал обраний.

35
 Взаємні закони розподілу характеризуються двовимірною функцією
розподілу імовірностей F2(x1, y2; t1, t2) і щільністю розподілу імовірностей
р2(x1, y2; t1, t2). Якщо розглянуті процеси є статистично незалежними, то
р2(x1, y2; t1, t2) = p(x1, t1)p(y2, t2). (2.37)
Властивості взаємних функцій розподілу імовірностей аналогічні
властивостям двовимірних функцій розподілу. Зокрема
x1 y1
F2 ( x1, y1, t1 )    p2 ( x, y, t1 )dxdy. (2.38)
 
Процеси, що підпорядковуються умові (2.37), називаються
процесами з взаємно незалежними перерізами.

2.7. Числові характеристики випадкових процесів

Щільність розподілу імовірностей дає найбільш повне уявлення про

випадковий процес. Проте одержання n-мірних щільностей розподілу
імовірностей пов’язано з трудомісткою обробкою множини реалізацій
випадкового процесу X(t). У багатьох практичних випадках можна
обійтися більш простими характеристиками:
математичним очікуванням,
дисперсією,
кореляційною функцією.
Числові характеристики випадкових процесів визначаються за
допомогою початкових і центральних моментів різних порядків (див.
п. 2.1).
Ці моменти є невипадковими величинами і визначаються
усередненням множини реалізацій випадкового процесу. Таке усереднення
називають усередненням за ансамблем або статистичним усередненням.
~
Усереднення за ансамблем будемо позначати X (t ) .
Початковий момент k-го порядку можна визначити як

k
mk [ X (t1)]   p1( x1, t1)  x1 dx1 . (2.39)


36
 Початковий момент першого порядку називається математичним
очікуванням випадкового процесу в момент t1

~
m1[ X (t1 )]  X (t1 )   x1 p1 ( x1 , t1 )dx1  a(t1 ) . (2.40)

Математичне очікування має ту ж розмірність, що і значення
випадкового процесу. Воно визначає деяку середню функцію, біля якої
групуються всі можливі реалізації випадкового процесу. У загальному
випадку математичне очікування випадкового процесу m1[ X (t1 )]
неоднакове для різних моментів часу і є функцією параметра t.
Центральні моменти розподілу можна визначити як

M n [ X (t1 )]  mn [ X (t1 )  m1 X (t1 )] . (2.41)

Центральний момент другого порядку називається дисперсією

випадкового процесу. Дисперсія є мірою розсіювання випадкової величини
навколо середнього її значення


M 2 [ X (t1 )]  m2 [ X (t1 )  a(t1 )]   [ x1 a(t1 )]2 p1 ( x1 , t1 )dx1 
 (2.42)
 σ 2 (t 2 )  m2 [ X (t1 )]  m12 [ X (t1 )].
Дисперсія характеризує потужність флуктуацій випадкового процесу
в довільному перерізі і має розмірність квадрата одиниці виміру значень
випадкового процесу.
Математичне очікування і дисперсія не відображають зв’язок між
значеннями випадкового процесу X(t) у різноманітні моменти часу t1 і t2. У
цьому випадку використовуються моментні і кореляційні функції.
Двовимірна моментна функція має вигляд
M 2 (t1 , t 2 )  M 2 [ X (t1 ) X (t 2 )]  m2 {[ X (t1 )  a(t1 )]  [ X (t 2 )  a(t 2 )]} 
  (2.43)
   [ x1  a(t1 )][ x2 a(t 2 )] p2 ( x1, t1; x2 , t 2 )dx1dx2 .
 
Якщо випадкові величини незалежні, то М2 = 0.

37
 При нульових середніх значеннях випадкових величин двовимірна
моментна функція переходить у кореляційну функцію для двох
випадкових процесів X(t) і Y(t), які розглядаються у довільні моменти часу
 
Rxy (t1 , t 2 )  m2 [ X (t1 )Y (t 2 )]    x1 y2 p2 ( x1, t1; x2 , t 2 )dx1dy2 . (2.44)
 
Таким чином, кореляційна функція описує степінь взаємної
статистичної залежності значень випадкового процесу в різноманітні
моменти часу.

2.8. Стаціонарність і ергодичність випадкових процесів

В електрозв’язку більшість випадкових сигналів і завад відносяться

до стаціонарних ергодичних процесів. Особливості стаціонарних процесів
такі:
1. Одновимірна щільність розподілу імовірностей не залежить від
часу p1 ( x1 , t1 )  p1 ( x1 , t1  t 0 )  p1 ( x) .
2. Двовимірна щільність розподілу імовірностей залежить тільки від
одного параметра τ  t 2  t1 і при τ  const не змінюється для будь-яких
значень часу t1 і t2
p2 ( x1 , x2 ; t1 , t 2 )  p2 ( x1 , x2 ; t1  t0 , t 2  t 0 )  p2 ( x1 , x2 , τ) .
Наступна властивість є результатом перших двох.
3. Математичне очікування стаціонарного випадкового процесу X(t)

не залежить від часу і є постійною величиною: m[ X (t )]   x  p1 ( x)dx  a .

4. Дисперсія стаціонарного випадкового процесу X(t) також є

2 2
постійною величиною D[ X (t )]  m{[ X (t )  a] }   ( x  a) p1 ( x)dx  σ 2 .

5. Кореляційна функція залежить від параметра τ
R(t1 , t 2 )  m2 {[ X (t1 )  a][ X (t 2 )  a]}  m2 {[ X (t1 )  a][ X (t1  τ)  a]} 
 
2
   x1x2 p2 ( x1, x2 , τ)dx1dx2  a  R( τ).
 

38
 Функція R( τ) є ненормованою кореляційною функцією
стаціонарного процесу Х(t).
R τ 
Відношення r τ   називається нормованою кореляційною
R0 
функцією. Ця функція має ті ж властивості, що і кореляційна функція.
6. Залежність між процесами X(t) і X(t + ) при зростанні  слабшає, а
при τ   ці значення стають незалежними
lim R( τ)  R()  lim ( X (t )  X (t  τ))  0 .
τ τ

7. Значення кореляційної функції при τ = 0 дорівнює дисперсії

R(0)  lim R( τ)  lim D[ X (t ) X (t  τ)]  m1{[ X (t )  a]2 }  D[ X (t )]  σ 2 ,
τ 0 τ 0

при цьому середнє квадратичне значення  дорівнює: σ  R(0) .

Абсолютне значення кореляційної функції не може перевищувати її
значення при τ = 0, R(0)  R ( τ) .
8. Внаслідок стаціонарності кореляційна функція є парною функцією
R(τ)  R(τ) .
Для стаціонарного випадкового процесу завжди можна зазначити
таке τ 0 , коли при τ  τ 0 значення X(t) і X(t + τ ) можна уже вважати
практично некорельованими.
Величина τ0 називається інтервалом кореляції. На практиці інтервал
кореляції частіше визначають як половину ширини основи прямокутника
одиничної висоти, площа якого дорівнює площі під кривою модуля
нормованої кореляційної функції (рис. 2.7)
1 
τ0   R 0 ( τ) dτ . (2.45)
2 

R () R ()
1

0 ,0 5

0  - τ 0 - τ 0 0 τ 0 τ 0 

Р и с . 2 .7
39
 Для багатьох задач кореляційна функція є достатньо повною
характеристикою стаціонарного випадкового процесу. Розділ теорії,
заснований на вивченні математичного очікування і кореляційної функції,
називається кореляційною теорією, або кореляційним аналізом випадкових
процесів.
У рамках кореляційної теорії вважають, що математичне очікування і
дисперсія стаціонарного випадкового процесу являються постійними
величинами, а кореляційна функція залежить тільки від . Такі стаціонарні
процеси називаються стаціонарними в широкому розумінні.
Функції розподілів перерізів стаціонарних випадкових процесів не
залежать від t, тобто F ( x, t1 )  F ( x, t1  τ) або p ( x, t1 )  p ( x, t1  τ) для
довільних t1 , τ і t2.
Тому надалі можна записувати одновимірні функції розподілу у
вигляді F(x) і р(x), тобто без t.
У стаціонарних випадкових процесів математичне очікування і
дисперсія незмінні в часі, а кореляційна функція залежить лише від різниці
моментів часу і є парною функцією

R( τ)  m2 [ X (t )  X (t )]  [ X (t  τ)  X (t  τ)], R( τ)  R( τ) .

Дуже важливим для теорії випадкових процесів є поняття

ергодичності випадкового процесу.
При визначенні числових характеристик випадкових процесів за
допомогою усереднення за множиною потрібно зробити велику роботу 
записати й обробити безліч реалізацій. Проте більшість стаціонарних
випадкових процесів має чудову властивість, що дозволяє знаходити
числові характеристики цих процесів усього лише за однією реалізацією.
Ця властивість називається властивістю ергодичності.
Усереднення за часом можна проводити шляхом статистичної
обробки всього однієї реалізації випадкового процесу. Якщо час виміру
реалізації 2Т, то для ергодичного процесу математичне очікування можна
визначити

40
 T
1
xt    xt  dt . (2.46)
2T T
Для визначення математичного очікування на нескінченному
інтервалі спостереження
1 T
xt   lim  xt dt . (2.47)
T  2T
T
Визначимо кореляційну функцію
 
1 T
Rτ     x1 x2 p2  x1 , x2 , τ dx1dx2  lim  xt xt  τ dt , (2.48)
T  2T
  T

звідки при    R0   x 2 t   σ 2 .

На практиці важко встановити ергодичність випадкового процесу.
Проте будь-яку нескінченну реалізацію випадкового процесу можна
розділити на декілька достатньо довгих частин, причому тривалість кожної
з них повинна бути більшою за інтервал кореляції процесу. Якщо процес 
стаціонарний, то імовірнісні властивості цих частин однакові. Тому їх
можна розглядати як окремі реалізації випадкового процесу, що належать
одному ансамблю. Таким чином, одна достатньо довга реалізація
еквівалентна множині реалізацій процесу x(t). На практиці частіше
використовують усереднення за часом, тому що його простіше виконати, ніж
усереднення за ансамблем.
Таким чином, стаціонарний випадковий процес є ергодичним, якщо
середнє значення за часом однієї реалізації збігається зі статистичним
усередненням за ансамблем реалізацій
~
X i (t )  X (t ); Pi ~  σ 2  Dx ; R0 ( τ)  R ( τ) . (2.49)
Властивість ергодичності має велике практичне значення. Воно
дозволяє при дослідженні статистичних властивостей процесу розглядати
не множину його реалізацій, а усього лише одну реалізацію достатньо
великої тривалості.
Випадкові процеси
Серед множини
Стаціонарні випадкові різноманітних випадкових
процеси
процесів можна виділити
Ергодичні випадкові
процеси

41

Рис. 2.8
підмножину стаціонарних випадкових процесів, а в підмножині
стаціонарних випадкових процесів можна виділити підмножину
ергодичних випадкових процесів.
Це пояснює діаграма, яка зображена на рис. 2.8.

1.1.1.1.1.1.1.1 Контрольні запитання і задачі

1. Наведіть основні імовірнісні характеристики випадкових величин.

2. Як співвідносяться між собою функція та щільність розподілу
імовірностей випадкової величини?
3. Наведіть приклади розподілів випадкових величин.
4. Який процес називається випадковим?
5. Як класифікуються випадкові процеси?
6. Назвіть основні властивості щільності розподілу імовірностей
випадкового процесу.
7. Наведіть основні особливості стаціонарних випадкових процесів.
8. В чому полягає властивість ергодичності випадкового процесу?
9. Розрахуйте математичне очікування і дисперсію початкової фази
флуктуаційної завади, яка рівномірно розподілена в межах 0...2.
10. Визначте імовірність того, що амплітуда флуктуаційної завади з
дисперсією 4 В2 перевищить амплітуду сигналу а0 = 10 В на вході
приймача. Амплітуда флуктуаційної завади розподілена за законом Релея.
11. Напруга шуму квантування розподілена за рівномірним законом
в інтервалі /2    /2 (де   крок квантування). Розрахувати значення
потужності шуму квантування, якщо  = 0,02 В, де   похибка
квантування.

42