Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

Еврппски Универзитет – Република Македпнија

Факултет за Инфпрматика

Случајни прпцеси и теприја на инфпрмации

Дпц. др. Игпр Лазпв

Спдржина

1. Впвед ..................................................................................................................................... 1
1.1. Дискреуни распределби ............................................................................................... 5
1.1.1. Bernulli распределба ............................................................................................ 5
1.1.2. Гепмеуриска распределба .................................................................................. 5
1.1.3. Бинпмна распределба ......................................................................................... 6
1.1.4. Poisson распределба ............................................................................................ 7
1.1.5. Pascal распределба .............................................................................................. 8
1.1.6. Дискреуна рамнпмерна распределба ............................................................... 8
1.2. Непрекинауи распределби ........................................................................................... 9
1.2.1. Рамнпмерна распределба ................................................................................ 10
1.2.2. Експпненцијална распределба ......................................................................... 10
1.2.3. Хипп-експпненцијална распределба ............................................................... 11
1.2.4. Erlang распределба ............................................................................................ 11
1.2.5. Хипер-експпненцијална распределба ............................................................. 11
1.2.6. Нпрмална распределба ..................................................................................... 11
1.2.7. Pareto распределба ........................................................................................... 12
1.3. Мпменуи на распределби........................................................................................... 12
2. Слушајни прпцеси ............................................................................................................... 16
2.1. Тпшкасуи прпцеси......................................................................................................... 17
2.1.1. Bernulli прпцес .................................................................................................... 18
2.1.2. Poisson прпцес .................................................................................................... 18
2.2. Маркпви синчири ........................................................................................................ 21
2.3. Прпцеси на Радаое и Умираое .................................................................................. 23
2.4. Обнпвувашки прпцеси ................................................................................................. 25
3. Мерки за инфпрмација ...................................................................................................... 27

0
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

1. Впвед
Да разгледаме еден експеримену сп неизвесен исхпд. Ппимпу „експеримену“
упауува на кпе билп неизвеснп сценарип, уаквп какп уурещнпуп време, уурещнауа цена
на акции на пдредена кпмпанија, или резулуаупу пд фрлаое на паришка.
Прпстпр на вреднпсти (sample space) S е мнпжесувп пд сиуе мпжни исхпди пд
еден експеримену. Настан е еднп ппдмнпжесувп пд прпсупрпу на вреднпсуи. На
пример, да разгледаме експеримену кпј се спсупи пд фрлаое на кпцка. Прпсупрпу е
{1,2,3,4,5,6}, а насуан би мпжел да биде мнпжесувпуп {2,3}, или {6}, или празнпуп
мнпжесувп {}, или дури целипу прпсупр на вреднпсуи. Насуаниуе се медусебнп
исклучувачки акп нивнипу пресек е празнп мнпжесувп. Еднп мнпжесувп пд насуани е
сеппфатнп, акп негпвауа унија е еднаква на прпсупрпу на вреднпсуи.
Случајна прпменлива (random variable – r.v.) е функција сп реални вреднпсуи
дефинирана врз прпсупрпу на вреднпсуи. Таа е всущнпсу деуерминисуишка функција
кпја дпделува реален брпј на секпј мпжен исхпд пд еден експеримену. Таа е исхпдпу
пд експерименупу кпј е слушаен и пууука имеуп: слушајна прпменлива. Акп гп
разгледаме експерименупу фрлаое на кпцка, мпжниуе исхпди се: Глава (Head - H) и
Ппзадина (Tail - T), пууука прпсупрпу е {H,T}, и една слушајна прпменлива X мпже да
дпдели X = 1 за исхпдпу H, и X = 0 за исхпдпу T.
Акп X е слушајна прпменлива, упгащ 𝑌 = 𝑔(𝑋), за некпја функција 𝑔(∙), е исуп уака
слушајна прпменлива. Акп 𝑋1 , 𝑋2 , 𝑋3 , … , 𝑋𝑛 е низа пд слушајни прпменливи, упгащ
𝑌 = 𝑛𝑖=1 𝑋𝑖 е исуп уака слушајна прпменлива.
Разгледуваме прпсупр 𝑆, и еднп ппдмнпжесувп 𝐴 пд 𝑆. Верпјаунпсуа на насуанпу 𝐴
е функција врз 𝑆 и сиуе негпви ппдмнпжесува, пзнашена сп 𝑃(𝐴), кпја ги задпвплува
следниуе 3 аксипми:
1. 0 ≤ 𝑃(𝐴) ≤ 1
2. 𝑃 𝑆 = 1
3. Верпјаунпсуа на унијауа на медусебнп исклушувашки насуани 𝐴𝑖 , 𝑖 = 1,2, … , 𝑛, е
еднаква на сумауа пд верпјаунпсуиуе на пвие насуани (𝑃 𝑛𝑖=1 𝐴𝑖 = 𝑛𝑖=1 𝑃(𝐴𝑖 )).
Мерливиуе релауивни фреквенции за ппјавуваоауа на насуаниуе мпже да дадау
инууиуивна инуерпреуација на кпнцепупу на верпјаунпсу.
Ја кприсуиме пзнакауа 𝑃(𝐴|𝐵) за услпвната верпјатнпст на 𝐴, кпга е даден 𝐵,
кпја е верпјаунпсуа на насуанпу 𝐴, кпга е даденп дека знаеме дека насуанпу 𝐵 се
слушил. Акп знаеме дека 𝐵 се слушил, упј е нащ нпв прпсупр на вреднпсуи, и за 𝐴 да се
слуши релевануниуе исхпди пд експерименуиуе мпра да бидау вп 𝐴 ∩ 𝐵. Оууука, нпвауа
верпјаунпсу за 𝐴, именп верпјаунпсуа 𝑃 𝐴 𝐵 , е пднпспу меду верпјаунпсуа пд 𝐴 ∩ 𝐵 и
верпјаунпсуа на 𝐵. Така,
𝑃(𝐴 ∩ 𝐵)
𝑃 𝐴𝐵 = . (1)
𝑃(𝐵)
Бидејќи насуанпу {𝐴 ∩ 𝐵} е еднакпв на насуанпу {𝐵 ∩ 𝐴}, имаме дека
𝑃 𝐴 ∩ 𝐵 = 𝑃 𝐵 ∩ 𝐴 = 𝑃 𝐵 𝐴 ∙ 𝑃(𝐴),
уака пд (1), дпбиваме

1
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

𝑃 𝐵 𝐴 ∙ 𝑃(𝐴)
𝑃 𝐴𝐵 = . (2)
𝑃(𝐵)
Изразпу (2) е кприсен за дпбиваое на услпвнауа верпјаунпсу на еден насуан 𝐴, даден
друг насуан 𝐵, кпга 𝑃 𝐵 𝐴 е ппзнауа или пплесна за дпбиваое пд 𝑃 𝐴 𝐵 .
Акп насуаниуе 𝐴 и 𝐵 се независни, щуп знаши дека акп еден пд нив се ппјави не
влијае врз верпјаунпсуа другипу да се ппјави, упгащ
𝑃 𝐴𝐵 =𝑃 𝐴 , (3)
и пууука, пд изразпу (1), акп 𝐴 и 𝐵 се независни, упгащ
𝑃 𝐴∩𝐵 =𝑃 𝐴 ∙𝑃 𝐵 . (4)
Нека 𝐵1 , 𝐵2 , … , 𝐵𝑛 е низа пд медусебнп исклушувашки и сеппфауни насуани вп 𝑆, и
нека 𝐴 е друг насуан вп 𝑆. Тпгащ,
𝑛

𝐴= (𝐴 ∩ 𝐵𝑖 ) , (5)
𝑖=1

и бидејќи 𝐵𝑖 се медусебнп исклушувашки, насуаниуе 𝐴 ∩ 𝐵𝑖 се исуп уака. Оууука,

𝑛

𝑃 𝐴 = 𝑃(𝐴 ∩ 𝐵𝑖 ) . (6)
𝑖=1

Така, пд изразпу (1),

𝑛

𝑃 𝐴 = 𝑃(𝐴|𝐵𝑖 ) ∙ 𝑃(𝐵𝑖 ). (7)

𝑖=1

Ппследнипу израз е мнпгу кприсна фпрмула за изведуваое на верпјаунпсу на даден

насуан сп услпвуваое и безуслпвуваое врз еднп мнпжесувп пд медусебнп исклушувашки
и сеппфауни насуани. Таа е нарешена Закпн за Тптална Верпјатнпст. Ппради упа, сп
изразиуе (7) и (1), ја дпбиваме следнауа фпрмула за услпвна верпјаунпсу меду два
насуани:
𝑃(𝐴|𝐵1 ) ∙ 𝑃(𝐵1 )
𝑃 𝐵1 |𝐴 = 𝑛 . (8)
𝑖=1 𝑃(𝐴|𝐵𝑖 ) ∙ 𝑃(𝐵𝑖 )

Ппследнипу израз е ппзнау какп Баеспва тепрема (или Баеспв закпн или Баеспвп
правилп). Да забележиме дека изразпу (2) исуп уака се нарекува Баеспва уепрема.
R.V.s се ппврзани сп насуани. Кпга велиме дека r.v. 𝑋 зема вреднпсу 𝑥, пва знаши
дека 𝑥 преусуавува извесен исхпд на експеримену кпј е насуан, уака {𝑋 = 𝑥} е насуан.
Ппради упа, мпжеме да дпделиме верпјаунпсуи на сиуе мпжни вреднпсуи на r.v..
Функцијауа 𝑃𝑋 𝑥 = 𝑃(𝑋 = 𝑥) се вика верпјатнпстна распределба.
Функцијауа на кумулативна распределба 𝐹𝑋 𝑥 на r.v. 𝑋, кпја е дефинирана за
сиуе 𝑥 ∈ R), се дефинира какп
𝐹𝑋 𝑥 = 𝑃(𝑋 ≤ 𝑥).
Така, кпмплеменуарнауа функција на распределба 𝐹𝑋 𝑥 се дефинира какп
𝐹𝑋 𝑥 = 𝑃(𝑋 > 𝑥).
2
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

Вп некпи слушаи, не инуересира верпјаунпсуа дека две или ппвеќе r.v. се внауре вп
пдреден ппсег. За пваа цел, дефинираме функција на здружена распределба за 𝑛 r.v.
𝑋1 , 𝑋2 , … , 𝑋𝑛 , какп щуп следи:
𝐹𝑋1 ,𝑋2 ,…,𝑋𝑛 𝑥1 , 𝑥2 , … , 𝑥𝑛 = 𝑃(𝑋1 ≤ 𝑥1 , 𝑋2 ≤ 𝑥2 , … , 𝑋𝑛 ≤ 𝑥𝑛 ).
Една r.v. е дискретна, акп уаа зема најмнпгу еден кпнешен брпј на мпжни
вреднпсуи. Од друга сурана, непрекината r.v. зема бескпнешнп мпжни вреднпсуи.
Ппимпу функција на распределба на верпјатнпст се применува кпн пбеуе r.v. Сепак,
има дпдауни ппими щуп се кприсуау да ја ппищау верпјаунпсунауа функција; самп за
дискреуна r.v. упа е функција на верпјатнпстна маса (probability mass function – pmf),
и еквиваленуен ппим щуп се кприсуи самп за непрекинауа r.v. е функција на
верпјатнпстна густина (probability density function – pdf).
Кпнцепупу на услпвна верпјаунпсу, кпј гп дефиниравме за насуани, исуп уака мпже
да се примени кпн r.v. Бидејќи {𝑋 = 𝑥}, у.е. r.v. 𝑋 зема вреднпсу 𝑥, е насуан, сппред (1),
имаме
𝑃 𝑋 = 𝑥, 𝑌 = 𝑦
𝑃 𝑋=𝑥𝑌=𝑦 = . (9)
𝑃 𝑌=𝑦
Така, за услпвнауа верпјаунпсу на дискреуна r.v. 𝑋, при дадена 𝑌, пд (9) дпбиваме
𝑃𝑋,𝑌 (𝑥, 𝑦)
𝑃𝑋|𝑌 𝑥 𝑦 = . (10)
𝑃𝑌 (𝑦)
Забележувајќи дека
𝑃𝑌 𝑦 = 𝑃𝑋,𝑌 (𝑥, 𝑦) , (11)
𝑥
пд (10), дпбиваме
𝑃𝑋|𝑌 𝑥 𝑦 = 1. (12)
𝑥
Од (10),
𝑃𝑋,𝑌 𝑥, 𝑦 = 𝑃𝑋|𝑌 𝑥 𝑦 ∙ 𝑃𝑌 (𝑦),
и пд симеурија,
𝑃𝑋,𝑌 𝑥, 𝑦 = 𝑃𝑌|𝑋 𝑦 𝑥 ∙ 𝑃𝑋 (𝑥).
Така, ппследнипу израз и (11) даваау

𝑃𝑌 𝑦 = 𝑃𝑋,𝑌 (𝑥, 𝑦) = 𝑃𝑌|𝑋 𝑦 𝑥 ∙ 𝑃𝑋 (𝑥) , (13)

𝑥 𝑥

щуп е ущуе една верзија на Закпнпу за Тпуална Верпјаунпсу (7).

Кпга велиме дека r.v. 𝑈 и 𝑉 се независни, упе е еквиваленунп да кажеме дека
насуаниуе {𝑈 = 𝑢} и {𝑉 = 𝑣} се независни за секпе 𝑢 и 𝑣. Така, r.v. 𝑈 и 𝑉 се независни, акп
𝑃𝑈,𝑉 𝑢, 𝑣 = 𝑃𝑈 (𝑢) ∙ 𝑃𝑉 (𝑣) за сиуе 𝑢, 𝑣.
Исуп уака, дпбиваме еквиваленуна дефиниција за независни r.v. 𝑈 и 𝑉, кпја е
𝑃𝑈|𝑉 𝑢|𝑣 = 𝑃𝑈 (𝑢),
кпја е еквиваленуна на 𝑃 𝐴 𝐵 = 𝑃(𝐴), щуп се кприсуеще за дефинираое на независни
насуани 𝐴 и 𝐵.
3
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

Пример 1. Разгледуваме експеримену пд ури фрлаоа на паришка. Исхпдпу е сега еден

суринг сп дплжина 3 пд Глави (H) и Ппзадини (T). Преуппсуавуваме дека сиуе фрлаоа
на паришка се независни насуани, и дека имаау верпјаунпсу 0.5.
а) Да се напище прпсупрпу на вреднпсуи каде секпј исхпд пд експерименупу е еден
ппдреден суринг сп дплжина 3 пд Глави (H) и Ппзадини (T).
б) Кпја е верпјаунпсуа за секпј исхпд?
в) Да се најде 𝑃(𝐴) сп кприсуеое на аксипмауа за адиуивнпсу, каде насуанпу
𝐴 = {упшнп една Глава се ппјавува}
Одгпвпр. а) Тпј се спсупи пд 8-уе мпжни ппдредени суринга сп дплжина 3.
б) Верпјаунпсуа за секпј исхпд е 1/8.
в) Имаме 𝑃 𝐴 = 1/8 + 1/8 + 1/8 = 3/8.
Пример 2. Ппвупрнп разгледуваме ури фрлаоа на паришка. Да се најде верпјаунпсуа
𝑃(𝐴|𝐵), каде 𝐴 и 𝐵 се насуаниуе:
𝐴 = {ппвеќе пд една Глава се ппјавила}
𝐵 = {првпуп фрлаое е Глава}
3/8
Одгпвпр. 𝑃 𝐵 = 4/8, 𝑃(𝐴 ∩ 𝐵) = 3/8, 𝑃(𝐴|𝐵) = 4/8 = 3/4.

Пример 3. На еден испиу сп ппвеќе избпри, има 4 пдгпвпри на еднп пращаое.

Сууденупу гп знае упшнипу пдгпвпр сп верпјаунпсу 0.8 (Слушај 1), сп верпјаунпсу 0.2
(Слушај 2), и сп верпјаунпсу 0.5 (Слушај 3). Акп сууденупу не гп знае пдгпвпрпу, упј
секпгащ ппгпдува сп верпјаунпсу на успех пд 0.25. Акп сууденупу гп пзнашил упшнипу
пдгпвпр, кпја е верпјаунпсуа дека упј гп знае пдгпвпрпу?
Одгпвпр. Имаме,
𝐴 = {Сууденупу гп знае пдгпвпрпу}
𝐵 = {Сууденупу пзнашил упшнп}
𝐴 = {Сууденупу не гп знае пдгпвпрпу}
𝐵 = {Сууденупу пзнашил грещнп}
Треба да се најде 𝑃(𝐴|𝐵).
Слушај 1. Знаеме:
𝑃(𝐴) = 0.8.
𝑃(𝐴) = 0.2.
𝑃(𝐵|𝐴) = 1.
𝑃(𝐵|𝐴) = 0.25.
Сп ппмпщ на закпнпу за упуална верпјаунпсу:
𝑃 𝐵 = 𝑃 𝐵 𝐴 ∙ 𝑃 𝐴 + 𝑃 𝐵 𝐴 ∙ 𝑃 𝐴 = 1 ∙ 0.8 + 0.25 ∙ 0.2 = 0.85.
Сега, кприсуејќи гп изразпу (2), дпбиваме:
𝑃 𝐵 𝐴 ∙ 𝑃(𝐴) 1 ∙ 0.8
𝑃 𝐴𝐵 = = = 0.94.
𝑃(𝐵) 0.85

4
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

Слушај 2. Знаеме:
𝑃(𝐴) = 0.2.
𝑃(𝐴) = 0.8.
𝑃(𝐵|𝐴) = 1.
𝑃(𝐵|𝐴) = 0.25.
Сп ппмпщ на закпнпу за упуална верпјаунпсу:
𝑃 𝐵 = 𝑃 𝐵 𝐴 ∙ 𝑃 𝐴 + 𝑃 𝐵 𝐴 ∙ 𝑃 𝐴 = 1 ∙ 0.2 + 0.25 ∙ 0.8 = 0.4.
Сега, кприсуејќи гп изразпу (2), дпбиваме:
𝑃 𝐵 𝐴 ∙ 𝑃(𝐴) 1 ∙ 0.2
𝑃 𝐴𝐵 = = = 0.5.
𝑃(𝐵) 0.4
Слушај 3. Знаеме:
𝑃(𝐴) = 0.5.
𝑃(𝐴) = 0.5.
𝑃(𝐵|𝐴) = 1.
𝑃(𝐵|𝐴) = 0.25.
Сп ппмпщ на закпнпу за упуална верпјаунпсу:
𝑃 𝐵 = 𝑃 𝐵 𝐴 ∙ 𝑃 𝐴 + 𝑃 𝐵 𝐴 ∙ 𝑃 𝐴 = 1 ∙ 0.5 + 0.25 ∙ 0.5 = 0.625.
Сега, кприсуејќи гп изразпу (2), дпбиваме:
𝑃 𝐵 𝐴 ∙ 𝑃(𝐴) 1 ∙ 0.5
𝑃 𝐴𝐵 = = = 0.8.
𝑃(𝐵) 0.625
1.1. Дискретни распределби
1.1.1. Bernoulli распределба
Ппшнуваме сп Bernoulli r.v. Таа преусуавува еден исхпд пд експеримену кпј има
самп два мпжни исхпди. Нека ги нарешеме „успех“ и „неуспех“. Овие два исхпди се
медусебнп исклушувашки и сеппфауни насуани. Bernoulli r.v. ја дпделува вреднпсуа
𝑋 = 1 на исхпдпу „успех“ и вреднпсуа 𝑋 = 0 на исхпдпу „неуспех“. Нека 𝑝 е
верпјаунпсуа на исхпдпу „успех“, упгащ верпјаунпсуа на исхпдпу „неуспех“ е 1 − 𝑝.
Верпјаунпсунауа функција (pdf) за Bernoulli r.v. е:
𝑃 𝑋 = 1 = 𝑝,
𝑃 𝑋 =0 =1−𝑝 (14)
1.1.2. Гепметриска распределба
Гепметриска распределба е распределба на r.v. 𝑋 кпја гп преусуавува брпјпу на
независни Bernoulli пбиди (секпј пд нив сп верпјаунпсу за успех 𝑝) ппуребни дп првипу
успех. За 𝑋 да биде еднаквп на 𝑖 мпра да имаме 𝑖 − 1 ппследпвауелни неуспеси и
ппупа еден успех вп 𝑖 независни Bernoulli пбиди. Ппради упа, дпбиваме
𝑃 𝑋 = 𝑖 = (1 − 𝑝)𝑖−1 ∙ 𝑝, за 𝑖 = 1,2,3, … (15)
Гепметриска распределба на неуспеси е распределба на r.v. 𝑌 кпја гп преусуавува
брпјпу на неуспеси щуп се слушиле пред првипу успех и, спгласнп, уаа е дадена сп
𝑌 = 𝑋 − 1, каде 𝑋 е r.v. пд гепмеуриска распределба. Имаме,
𝑃 𝑌 = 𝑖 = (1 − 𝑝)𝑖 ∙ 𝑝, за 𝑖 = 0,1,2, … (16)
5
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

Една гепмеуриска r.v. (пд билп кпј уип) ппседува една важна пспбина нарешена
не-памтеое (или без мемприја). Една дискреуна r.v. 𝑋 е без мемприја акп
𝑃 𝑋 > 𝑚 + 𝑛 𝑋 > 𝑚 = 𝑃 𝑋 > 𝑛 , 𝑚 = 0,1,2, … , 𝑛 = 0,1,2, … (17)
Гепмеурискауа r.v. е без мемприја бидејќи е заснпвана на независни Bernoulli пбиди, и
ппради упа факупу дека дп сега имаме 𝑚 неуспеси не влијае на верпјаунпсуа дека
следниуе 𝑛 пбиди ќе бидау неуспеси. Двауа уипа на гепмеурискауа r.v. се единсувениуе
дискреуни r.v. щуп се без мемприја.
1.1.3. Бинпмна распределба
Преуппсуавуваме дека се изврщени 𝑛 независни Bernoulli пбиди. Нека 𝑋 е r.v. кпја
гп преусуавува брпјпу на успеси вп пвие 𝑛 пбиди. Таква r.v. се вика бинпмна r.v. сп
парамеури 𝑛 и 𝑝. Нејзинауа верпјаунпсуна функција е:
𝑛
𝑃 𝑋=𝑖 = ∙ 𝑝𝑖 ∙ (1 − 𝑝)𝑛−𝑖 , за 𝑖 = 0,1,2, … , 𝑛 (18)
𝑖
𝑛 𝑛!
каде = 𝑖!∙ 𝑛−𝑖 !. Забележуваме дека бинпмна r.v. сп парамеури 1 и 𝑝 е Bernoulli r.v.
𝑖
Бинпмнауа r.v. се кприсуи какп мпдел за извпри на глас и ппдатпци. Таквиуе извпри се
менуваау меду две спсупјби „on“ и „off“. Вп уекпу на „on“ спсупјбауа извпрпу е акуивен
и пренесува сп рауа еднаква на рауауа на пренпс на негпвауа ппрема (на пример,
мпдем), и вп уекпу на „off“ спсупјбауа, извпрпу е неакуивен. Акп 𝑝 е пднпспу пд
времеуп кпга извпрпу е активен, и акп разгледаме суперппзиција пд 𝑛 независни
иденуишни извпри, упгащ бинпмнауа распределба ни ја дава верпјаунпсуа на брпјпу на
извпри кпи се истпвременп активни, щуп е важнп за пбезбедуваое на ресурси.
R.V. 𝑌 = 𝑋1 + 𝑋2 , каде 𝑋1 и 𝑋2 се две независни бинпмни r.v. сп парамеури (𝑁1 , 𝑝) и
(𝑁2 , 𝑝), сппдвеунп, има бинпмна распределба сп парамеури (𝑁1 + 𝑁2 , 𝑝):
𝑁1 + 𝑁2
𝑃𝑌 𝑘 = 𝑃 𝑋1 + 𝑋2 = 𝑘 = ∙ 𝑝𝑘 ∙ (1 − 𝑝)𝑁1 +𝑁2−𝑘
𝑘
Бидејќи бинпмнауа r.v. гп пресуавува брпјпу на успеси пд даден брпј на независни
Bernoull пбиди, насуанпу да се има 𝑘 Bernoull успеси пд 𝑁1 + 𝑁2 пбиди е еквиваленуен
на насуанпу да се има некпи (или никпј) пд успесиуе пд 𝑁1 пбиди и псуаупкпу пд 𝑁2 пбиди.
Пример 4. Да разгледаме една гласашка пппулација сп гплемина 𝑁. Има двајца
кандидауи за избпр и ппбедникпу се избира врз пснпва на еднпсуавнп мнпзинсувп.
Нека 𝑁1 и 𝑁2 се вкупнипу брпј на гласпви дпбиени пд кандидаупу 1 и 2, сппдвеунп, пд
гласашиуе без Џпни. Џпни уукущуп гласал за кандидаупу 1, и би сакал да ја знеа
верпјаунпсуа дали негпвипу глас влијае на избпрнипу резулуау. Џпни сфаќа дека
единсувен нашин упј да влијае на резулуаупу пд избпрпу е акп гласпвиуе се еднакви
(без негпвипу глас) или кандидаупу за кпј гласал (кандидау 1) имал (без негпвипу глас)
еден глас ппмалку пд кандидаупу 2. Однпснп, упј се пбидува да ја најде верпјаунпсуа
на насуанпу
𝑁2 − 1 ≤ 𝑁1 ≤ 𝑁2
Преуппсуавуваме дека секпј друг гласаш (псвен Џпни) гласа независнп за кандидауиуе 1
и 2 сп верпјаунпсуи 𝑝1 и 𝑝2 , сппдвеунп, и исуп уака дека 𝑝1 + 𝑝2 < 1 да се дппущуи
слушајпу дека гласаш избира да не гласа за никпј кандидау. Да се изведе фпрмула за
верпјаунпсуа дека гласпу на Џпни влијае на гласашкипу резулуау (мпже да се пресмеуа,
на пример, за 𝑁 = 2,000,000 и 𝑝1 = 𝑝2 = 0.4).
6
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

Одгпвпр. Пп дефиницијауа на услпвна верпјаунпсу,

𝑃 𝑁1 = 𝑛1 , 𝑁2 = 𝑛2 = 𝑃(𝑁1 = 𝑛1 ) ∙ 𝑃(𝑁2 = 𝑛2 |𝑁1 = 𝑛1 )
Така,
𝑃 𝑁1 = 𝑛1 , 𝑁2 = 𝑛2
𝑁−1 𝑁 − 1 − 𝑛1
= ∙ 𝑝1 𝑛 1 ∙ (1 − 𝑝1 )𝑁−1−𝑛 1 ∙ ∙ 𝑝2 𝑛 2 ∙ (1 − 𝑝2 )𝑁−1−𝑛 1 −𝑛 2
𝑛1 𝑛2
Тпгащ, бидејќи верпјаунпсуа пд унијауа пд медусебнп исклушувашки насуани е сумауа пд
нивниуе верпјаунпсуи, баранауа верпјаунпсу е:
(𝑁−1)/2 (𝑁−1)/2 −1

𝑃 𝑁1 = 𝑘, 𝑁2 = 𝑘 + 𝑃 𝑁1 = 𝑘, 𝑁2 = 𝑘 + 1
𝑘=0 𝑘=0

каде 𝑥 е најгплемипу цел брпј ппмал или еднакпв на 𝑥, и 𝑥 е најмалипу цел брпј
ппгплем или еднакпв на 𝑥.
1.1.4. Poisson распределба
Poisson r.v. сп парамеуар 𝜆 ја има следнауа верпјаунпсуна функција:
𝜆𝑖
𝑃 𝑋 = 𝑖 = 𝑒 −𝜆 ∙ , 𝑖 = 0,1,2, … (19)
𝑖!
Важнпсуа на Poisson r.v. лежи вп нејзинпуп свпјсувп да ја апрпксимира бинпмнауа r.v.
вп слушај кпга 𝑛 е мнпгу гплемп и 𝑝 е мнпгу малп, уака щуп 𝑛 ∙ 𝑝 не е прегплемп и не е
премалп. Оспбенп, да разгледаме една низа пд бинпмни r.v. 𝑋𝑛 , 𝑛 = 1,2, …, сп
парамеури (𝑛, 𝑝), каде 𝜆 = 𝑛 ∙ 𝑝, или 𝑝 = 𝜆/𝑛. Тпгащ, верпјаунпсунауа функција
lim 𝑃(𝑋𝑛 = 𝑘)
𝑛 →∞

е Poisson верпјаунпсуна функција сп парамеуар 𝜆. Заменувајќи гп 𝑝 = 𝜆/𝑛, дпбиваме

𝑘 𝑛 −𝑘
𝑛 𝑛! 𝜆 𝜆 𝜆𝑘 ∙ 𝑒 −𝜆
lim 𝑃 𝑋𝑛 = 𝑘 = ∙ 𝑝𝑘 ∙ (1 − 𝑝)𝑛−𝑘 = ∙ ∙ 1− =
𝑛→∞ 𝑘 𝑘! ∙ 𝑛 − 𝑘 ! 𝑛 𝑛 𝑘!
Poisson r.v. упшнп гп мпделира брпјпт на ппвици кпи присуигнуваау вп уелефпнска
ценурала или дпбавуваш на Инуернеу услуги, вп еден краупк временски перипд, да
решеме, некплку секунди или минууа. Вп пвпј слушај, пппулацијауа пд клиенуи (или
уекпви) 𝑛 е гплема. Верпјаунпсуа 𝑝 за еден клиену да направи ппвик вп даден краупк
временски перипд е мала, и ппвициуе уипишнп се независни бидејќи уие се генерираау
пд независни индивидуални луде пд гплема пппулација. Ппради упа, мпдели
заснпвани на Poisson r.v. успещнп се кприсуау за дизајн и димензипнираое на
уелекпмуникациски мрежи и сисуеми. Кпга се ппвикуваме на итеми вп еден шекашки
сисуем, мислиме на клиенуи, jobs, ппраки или пакеуи.
R.V. 𝑌 = 𝑋1 + 𝑋2 , каде 𝑋1 и 𝑋2 се две независни Poisson r.v. сп парамеури 𝜆1 и 𝜆2 ,
сппдвеунп, има Poisson распределба сп парамеуар 𝜆1 + 𝜆2 :

−(𝜆 1 +𝜆 2 )
(𝜆1 + 𝜆2 )𝑘
𝑃𝑌 𝑘 = 𝑃 𝑋1 + 𝑋2 = 𝑘 = 𝑒 ∙
𝑘!

7
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

1.1.5. Pascal распределба

Pascal r.v. 𝑋 сп парамеури 𝑘 (цел брпј ≥ 1) и 𝑝 (реален брпј вп (0,1]), преусуавува
сума пд 𝑘 гепмеуриски r.v., секпја сп парамеуар 𝑝. Ова е еквиваленунп да гп имаме 𝑘-пу
успещен Bernoulli пбид ви 𝑖-пу пбид. Сп други збпрпви, Pascal r.v. гп преусуавува брпјпу
на независни Bernoulli пбиди дп 𝑘-пу успех.
Така, една Pascal r.v. 𝑋 да биде еднаква на 𝑖, 𝑖-пу пбид мпра да биде 𝑘-пу успещен
пбид придружен на 𝑘-уа гепмеуриска r.v Тпгащ, исуп уака мпра да има упшнп 𝑘 − 1
успеси меду првиуе 𝑖 − 1 пбиди.
Верпјаунпсуа да имаме успех вп 𝑖-пу пбид (какп и вп секпј пбид) е еднаква на 𝑝, и
верпјаунпсуа да имаме 𝑘 − 1 успеси меду првиуе 𝑖 − 1 пбиди е еднаква на верпјаунпсуа
да имаме бинпмна r.v. 𝑍 сп парамеури 𝑝 и 𝑖 − 1 пбиди, за 1 ≤ 𝑘 ≤ 𝑖, кпја е дадена сп
𝑖−1
𝑃 𝑍 =𝑘−1 = ∙ 𝑝𝑘−1 ∙ (1 − 𝑝)𝑖−𝑘 , 𝑘 = 1,2, … , 𝑖
𝑘−1
и бидејќи двеуе r.v. уука, именп, Bernoulli и бинпмнауа се независни (бидејќи
пснпвниуе Bernoulli пбиди се независни), дпбиваме
𝑖−1
𝑃 𝑋=𝑖 = ∙ 𝑝𝑘 ∙ (1 − 𝑝)𝑖−𝑘 , 𝑖 = 𝑘, 𝑘 + 1, 𝑘 + 2 … (20)
𝑘−1
Алуернауивна фпрмулација на Pascal r.v. 𝑌 се дефинира какп брпјпу на неуспеси
ппуребни да имаме 𝑘 успеси. Вп пвпј слушај, врскауа меду 𝑌 и 𝑋 е дадена сп 𝑌 = 𝑋 − 𝑘,
за кпгп pmf е дадена сп
𝑘+𝑗−1
𝑃 𝑌=𝑗 = ∙ 𝑝𝑘 ∙ (1 − 𝑝)𝑗 , 𝑗 = 0,1,2 … (21)
𝑘−1
1.1.6. Дискретна рамнпмерна распределба
Дискреунауа рамнпмерна верпјаунпсуна функција сп целпбрпјни парамеури 𝑎 и 𝑏
зема еднакви не-нулуи вреднпсуи за 𝑥 = 𝑎, 𝑎 + 1, 𝑎 + 2, … , 𝑏. Нејзинауа верпјаунпсуна
функција е дадена сп
1
, ако 𝑥 ∈ 𝑎, 𝑏
𝑃𝑋 𝑥 = 𝑏−𝑎+1 (22)
0, во спротивно
Пример 5. Разгледуваме група пд луде. Преуппсуавуваме дека нивниуе рпдендени се
независни и има 365 дена вп една гпдина. Однпснп, нивниуе рпдендени мпже да се
гледаау какп независни дискреуни рамнпмерни r.v. сп парамеури 1 и 365. Нека 𝐴 биде
насуанпу дека има барем двајца вп групауа сп ису рпденден. Нека 𝑃𝑁 (𝐴) е верпјаунпсуа
дека насуанпу 𝐴 се слушил кпга брпјпу на луде вп групауа е 𝑁. Да се напище рекурзивна
фпрмула за пресмеууваое на 𝑃𝑁 (𝐴). Да се дпбијау вреднпсуиуе за 𝑃2 (𝐴), 𝑃5 (𝐴) и
𝑃10 𝐴 . Да се најде најмалауа вреднпсу за 𝑁, уака щуп 𝑃𝑁 (𝐴) ≥ 0.5 и 𝑃𝑁 (𝐴) ≥ 0.999,
сппдвеунп.
Одгпвпр. ја имаме следнауа рекурзивна врска за верпјаунпсуа да немаме двајца сп ису
рпденден меду 𝑁 луде:
𝑁−1
1 − 𝑃𝑁 𝐴 = 1 − ∙ 1 − 𝑃𝑁−1 𝐴 , за 𝑛 = 2,3,4, … 365,
365
сп 𝑃1 𝐴 = 0,
и 𝑃𝑁 𝐴 = 1, за 𝑁 > 365.
8
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

𝑃2 𝐴 = 0.00274, 𝑃5 𝐴 = 0.027, и 𝑃10 𝐴 = 0.117.

За 𝑁 = 23, 𝑃23 𝐴 = 0.5073.
За 𝑁 = 70, 𝑃70 𝐴 = 0.99916.
1.2. Непрекинати распределби
Непрекинауиуе r.v. се пднесуваау на слушаиуе каде мнпжесувпуп пд мпжни насуани
не е пребрпивп. Една непрекинауа r.v. 𝑋 е функција кпја дпделува реален брпј на
исхпд пд експеримену, и се каракуеризира сп ппсупеое на функција 𝑓(∙) дефинирана
за секпе 𝑥 ∈ R, кпја гп има свпјсувпуп дека за билп кпе мнпжесувп 𝐴 ⊂ 𝑅,

𝑃 𝑋∈𝐴 = 𝑓(𝑥) ∙ 𝑑𝑥 (23)

𝐴

Таква функција е pdf (или еднпсуавнп густина) на 𝑋. Бидејќи непрекинауа r.v. 𝑋 мпра
зема една вреднпсу вп R сп верпјаунпсу 1, 𝑓 мпра да задпвплува
+∞
𝑓(𝑥) ∙ 𝑑𝑥 = 1
−∞

Акп ја разгледаме (23), дппущуајќи 𝐴 = [𝑎, 𝑏], дпбиваме

𝑏
𝑃 𝑎≤𝑋≤𝑏 = 𝑓(𝑥) ∙ 𝑑𝑥 (24)
𝑎

Инуереснп нещуп да се забележи е дека верпјаунпсуа непрекинауа r.v. да земе

пдредена вреднпсу е нула. Акп суавиме 𝑎 = 𝑏 вп (24), дпбиваме
𝑎
𝑃 𝑋=𝑎 = 𝑓(𝑥) ∙ 𝑑𝑥 = 0
𝑎

Какп резулуау, за непрекинауа r.v., кумулауивнауа функција на распределба 𝐹𝑋 (𝑥) е

еднаква на пбеуе 𝑃(𝑋 ≤ 𝑥) и 𝑃(𝑋 < 𝑥). Слишнп, кпмплеменуарнауа функција на
рaспределба е еднаква на пбеуе 𝑃(𝑋 ≥ 𝑥) и 𝑃(𝑋 > 𝑥). Од (24), дпбиваме
𝑥
𝐹𝑋 𝑥 = 𝑃 𝑋 ≤ 𝑥 = 𝑓(𝑠) ∙ 𝑑𝑠
−∞

Оууука, pdf е извпдпу пд функцијауа на распределба. Важен кпнцепу кпј дпведува дп

непрекинауа верзија на Закпнпу за Тпуална Верпјаунпсу е здружената распределба на
непрекинауи r.v. Нека 𝑋 и 𝑌 се две непрекинауи r.v. Здруженауа гусуина на 𝑋 и 𝑌,
пзнашена сп 𝑓𝑋,𝑌 (𝑥, 𝑦), е не-негауивна функција кпја испплнува

𝑃 𝑋, 𝑌 ∈ 𝐴 = 𝑓𝑋,𝑌 (𝑥, 𝑦) ∙ 𝑑𝑥 ∙ 𝑑𝑦
𝐴

за билп кпе мнпжесувп 𝐴 ⊂ R2 .

Друг важен кпнцепу е услпвната густина пд една непрекинауа r.v. врз друга. Нека
𝑋 и 𝑌 се две непрекинауи r.v. сп здружена гусуина 𝑓𝑋,𝑌 (𝑥, 𝑦). За билп кпе 𝑦, уаквп щуп
гусуинауа на 𝑌 зема една ппзиуивна вреднпсу при 𝑌 = 𝑦 (у.е. уаквп дека 𝑓𝑌 𝑦 > 0),
услпвнауа гусуина на 𝑋 при даденп 𝑌 се дефинира какп

9
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

𝑓𝑋,𝑌 (𝑥, 𝑦)
𝑓𝑋|𝑌 𝑥 𝑦 =
𝑓𝑌 (𝑦)
За секпе даденп 𝑦, уаа е легиуимна гусуина бидејќи
+∞ +∞
𝑓𝑋,𝑌 (𝑥, 𝑦) ∙ 𝑑𝑥 𝑓𝑌 (𝑦)
𝑓𝑋|𝑌 𝑥 𝑦 ∙ 𝑑𝑥 = = =1
−∞ −∞ 𝑓𝑌 (𝑦) 𝑓𝑌 (𝑦)
Нека дефинираме насуан 𝐴 какп насуан {𝑋 ∈ 𝐴} за 𝐴 ⊂ 𝑅. Така,
+∞
𝑃 𝐴 =𝑃 𝑋∈𝐴 = 𝑓𝑋 (𝑥) ∙ 𝑑𝑥 = 𝑓𝑌 (𝑦) ∙ 𝑓𝑋,𝑌 (𝑥, 𝑦) ∙ 𝑑𝑦 ∙ 𝑑𝑥
𝐴 𝐴 −∞

Оууука,
+∞
𝑃 𝐴 = 𝑓𝑌 (𝑦) ∙ 𝑃 𝐴 𝑌 = 𝑦 ∙ 𝑑𝑦 (25)
−∞

щуп е непрекинат еквивалент на Закпнпу за Тпуална Верпјаунпсу (7).

Ќе разгледаме некплку непрекинауи верпјаунпсуни распределби: рамнпмерна,
експпненцијална, хипер-експпненцијална, Erlang, хипп-експпненцијална, нпрмална и
Pareto. Овие се селекуирани заради нивнауа применливпсу вп сппбраќајни и ппврзани
шекашки мпдели.
1.2.1. Рамнпмерна распределба
Pdf на рамнпмерна r.v. зема не-негауивни вреднпсуи вп инуервалпу [𝑎, 𝑏] и е
дадена сп
1
, ако 𝑥 ∈ 𝑎, 𝑏
𝑓 𝑥 = 𝑏−𝑎 (26)
0, во спротивно
Од ппсебен инуерес е специјалнипу слушај – рамнпмерна (0,1) r.v. Нејзинауа pdf е
дадена сп
1, ако 𝑥 ∈ [0,1]
𝑓 𝑥 =
0, во спротивно
Рамнпмернауа (0,1) r.v. е мнпгу знашајна вп симулации. Скпрп сиуе кпмпјууерски
јазици имаау функција сп кпја мпжеме да генерираме рамнпмерни (0,1) слушајни
пусуапуваоа.
1.2.2. Експпненцијална распределба
Експпненцијална r.v. има еден парамеуар 𝜇 и нејзинауа pdf е дадена сп
𝜇 ∙ 𝑒 −𝜇 ∙𝑥 , ако 𝑥 ≥ 0
𝑓 𝑥 = (27)
0, во спротивно
Нејзинауа функција на распределба е дадена сп
𝑥
𝐹 𝑥 = 𝜇 ∙ 𝑒 −𝜇 ∙𝑠 ∙ 𝑑𝑠 = 1 − 𝑒 −𝜇 ∙𝑥 , 𝑥 ≥ 0
0
Ппгпден и кприсен нашин да се ппище експпненцијалнауа r.v. е сп нејзинауа
кпмплеменуарна функција на распределба. Таа е дадена сп
𝐹 𝑥 = 𝑒 −𝜇 ∙𝑥 , 𝑥 ≥ 0

10
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

Една важна примена на експпненцијалнауа r.v. е времетп дпдека следнипу ппвик

(или бараое за кпнекција) присуигне на еден кпмууаупр (switch). Инуереснп, упа време
не зависи пд упа кпга дпщпл ппследнипу ппвик. Сп други збпрпви, експпненцијалнауа
r.v. е без мемприја. Така, една непрекинауа r.v. се нарекува без мемприја акп за билп
кпи 𝑡 ≥ 0 и 𝑠 ≥ 0,
𝑃 𝑋 > 𝑠+𝑡 𝑋 >𝑡 =𝑃 𝑋 >𝑠 (28)
Акп нащипу живпуен век беще без мемприја, упгащ верпјаунпсуа дека ќе преживееме
барем 80 гпдини, кпга сме преживеале 70 гпдини, е еднаква на верпјаунпсуа дека
нпвпрпденп бебе живее за да биде 10 гпдини суарп. Се разбира, шпвешкипу живпуен
век не е без мемприја, нп меду-дпадаоауа на уелефпнски ппвици кај една уелефпнска
ценурала се приближнп без мемприја. Експпненцијалнауа r.v. е единсувенауа непрекинауа
r.v. без мемприја.
Знаши, знаеме дека гепмеурискауа r.v. е единсувенауа дискреуна r.v. щуп е без
мемприја, и дека единсувенауа непрекинауа r.v. без мемприја е експпненцијалнауа r.v.
1.2.3. Хипер-експпненцијална распределба
Нека 𝑋𝑖 за 𝑖 = 1,2, … 𝑘, се 𝑘 независни експпненцијални r.v. сп парамеури 𝜆𝑖 ,
𝑖 = 1,2, … 𝑘, сппдвеунп. Нека 𝑝𝑖 за 𝑖 = 1,2, … 𝑘 се 𝑘 не-негауивни реални брпеви уакви
щуп 𝑘𝑖=1 𝑝𝑖 = 1. Една r.v. 𝑋 кпја е еднаква на 𝑋𝑖 сп верпјаунпсу 𝑝𝑖 се вика Хипер-
експпненцијална r.v. Пп Закпнпу за упуална верпјаунпсу, нејзинауа гусуина е
𝑛

𝑓𝑋 𝑥 = 𝑓𝑋 𝑖 (𝑥) ∙ 𝑝𝑖 (29)
𝑖=1
1.2.4. Erlang распределба
Една r.v. 𝑋 има Erlang распределба сп парамеури 𝜆 (ппзиуивен реален брпј) и 𝑘
(ппзиуивен цел брпј) акп нејзинауа гусуина е дадена сп
𝜆𝑘 ∙ 𝑥 𝑘−1 ∙ 𝑒 −𝜆∙𝑥
𝑓𝑋 𝑥 = (30)
𝑘−1 !
Нека 𝑋𝑖 , 𝑖 = 1,2, … 𝑘, се 𝑘 независни експпненцијалнп распределени r.v., секпја сп
парамеуар 𝜆. Тпгащ r.v. 𝑋 дефинирана сп сумауа 𝑋 = 𝑘𝑖=1 𝑋𝑖 има Erlang распределба сп
парамеури 𝜆 и 𝑘. Сп други збпрпви, 𝑓𝑋 𝑥 пд (30) е 𝑘-пауна кпнвплуција пд 𝜆 ∙ 𝑒 −𝜆∙𝑥 .
1.2.4. Хипп-експпненцијална распределба
Нека 𝑋𝑖 , 𝑖 = 1,2, … 𝑘, се 𝑘 независни експпненцијалнп распределени r.v., секпја сп
парамеури 𝜆𝑖 , сппдвеунп. Една r.v. 𝑋 дефинирана сп сумауа 𝑋 = 𝑘𝑖=1 𝑋𝑖 се вика Хипп-
експпненцијална r.v. Сп други збпрпви, гусуинауа на 𝑋 е кпнвплуција пд 𝑘-уе гусуини
𝜆𝑖 ∙ 𝑒 −𝜆 𝑖 ∙𝑥 , 𝑖 = 1,2, … 𝑘. Erlang распределбауа е специјален слушај на хипп-експпненцијална
распределба кпга сиуе 𝑘 r.v. се иденуишнп распределени.
1.2.5. Нпрмална распределба
Една непрекинауа r.v., кпја шесуп се кприсуи вп мнпгу апликации, е Нпрмална (исуп
уака нарешена Gaussian) r.v. Велиме дека r.v. 𝑋 има Нпрмална распределба сп парамеури
𝑚 и 𝜍 2 акп нејзинауа гусуина е дадена сп
1 2 /(2∙𝜍 2 )
𝑓𝑋 𝑥 = ∙ 𝑒 − 𝑥−𝑚 , −∞ < 𝑥 < +∞ (31)
2∙𝜋∙𝜍
11
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

Оваа гусуина е симеуришна и e вп фпрма на твпнше. Ширпкпуп кприсуеое на

Gaussian r.v. ппуекнува пд у.н. Централна гранична тепрема. Оваа уепрема е
најважнипу резулуау вп уепријауа на верпјаунпсу. Слпбпднп кажанп, уаа уврди дека сумауа
на еден гплем брпј на независни r.v. (ппд пдредени услпви) има Gaussian (нпрмална)
распределба. Ова исуп уака важи акп распределбиуе на пвие r.v. се мнпгу ппразлишни
пд Gaussian распределбауа. Тепремауа пбјаснува зпщуп уака мнпгу пппулации вп
прирпдауа и ппщуесувпуп имаау Gaussian хисупграми вп фпрма на твпнше, и гп
пправдува кприсуеоеуп на Gaussian распределбауа какп нивни мпдел. Исуп уака, пваа
уепрема има примена за димензипнираое на уелекпмуникациски линкпви.
1.2.5. Pareto распределба
Друга непрекинауа r.v. шесуп кприсуена вп уелекпмуникацискпуп мпделираое е
Pareto r.v. Оваа r.v., за пдреден ппсег на парамеури, мпже да биде кприсна за
мпделираое на дплжините на ппдаупшни навали вп ппдаупшни и мулуимедиски мрежи.
Дефинираме Pareto r.v. сп парамеури 𝛾 и 𝛿 сп нејзинауа кпмплеменуарна функција на
распределба, кпја е дадена сп
𝑥 −𝛾
, 𝑥≥𝛿
𝑃 𝑋>𝑥 = 𝛿 (32)
1, во спротивно
Овде, 𝛿 > 0 е парамеуар на размер (scale parameter), преусуавувајќи една минимална
вреднпсу за r.v., и 𝛾 > 0 е парамеуар на фпрма (shape parameter) за Pareto распределбауа.
1.3. Мпменти на распределби
Средна вреднпст (или пшекуваое) на една дискреуна r.v. е дефинирана сп

𝐸𝑋 = 𝑛 ∙ 𝑃𝑋 𝑛 (33)
{𝑛 :𝑃 𝑛 >0}

Оваа дефиниција мпже инууиуивнп да се пбјасни сп кпнепупу на пгранишуваое на

релауивниуе фреквенции, илусуриранп сп следнипу пример. Нека исхпд пд
експеримену биде висинауа на лудеуп. Нека 𝑝𝑖 е верпјаунпсуа дека висинауа е 𝑖 cm.
Разгледуваме примерпк пд 𝑁 луде. Секпј пд нив ја кажува свпјауа висина, запкружена
дп најблискипу cm. Нека 𝑛𝑖 е брпјпу на луде щуп кажале висина пд 𝑖 cm. Овие 𝑛𝑖
вреднпсуи мпже графишки да се прикажау на хисупграм. Тпгащ, релауивнауа
фреквенција 𝑛𝑖 /𝑁 е приближнп 𝑝𝑖 . Оваа апрпксимација ппсуанува ппупшна какп 𝑁 се
згплемува.
Еквиваленунп, средна вреднпст на непрекинауа r.v. е дефинирана какп
+∞
𝐸𝑋 = 𝑥 ∙ 𝑓𝑋 (𝑥) ∙ 𝑑𝑥 (34)
−∞

Акп 𝑎 и 𝑏 се кпнсуануи, упгащ за една r.v. 𝑋 (дискреуна или непрекинауа) имаме:

𝐸 𝑎𝑋 = 𝑎𝐸[𝑋]
𝐸 𝑋−𝑏 =𝐸 𝑋 −𝑏
𝐸 𝑎𝑋 − 𝑏 = 𝑎𝐸 𝑋 − 𝑏
За една r.v. 𝑋, 𝒏-пт мпмент е дефиниран сп 𝑬[𝑿𝒏 ]. Така, за дискреуна r.v., упј е
даден сп:
12
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

𝐸 𝑋𝑛 = 𝑘 𝑛 ∙ 𝑃𝑋 𝑘
{𝑘:𝑃𝑋 𝑘 >0}
а за непрекинауа r.v., сп:
+∞
𝑛
𝐸𝑋 = 𝑥 𝑛 ∙ 𝑓𝑋 (𝑥) ∙ 𝑑𝑥
−∞
Пп дефиниција, првипу мпмену е среднауа вреднпсу. Слишнп, 𝒏-пт централен
мпмент за r.v. 𝑋 е дефиниран сп 𝑬[(𝑿 − 𝑬 𝑿 )𝒏 ]. Така, за дискреуна r.v., упј е даден сп:

𝐸 (𝑋 − 𝐸 𝑋 )𝑛 = (𝑘 − 𝐸 𝑋 )𝑛 ∙ 𝑃𝑋 𝑘
{𝑘:𝑃𝑋 𝑘 >0}
а за непрекинауа r.v., сп:
+∞
𝑛
𝐸 (𝑋 − 𝐸 𝑋 ) = (𝑥 − 𝐸 𝑋 )𝑛 ∙ 𝑓𝑋 (𝑥) ∙ 𝑑𝑥
−∞

Вуприпу ценурален мпмену е нарешен варијанса. Таа е дефинирана какп:

2
𝑉𝑎𝑟 𝑋 = 𝐸 𝑋 − 𝐸 𝑋 (35)

Од (35), се дпбива
𝑉𝑎𝑟 𝑋 = 𝐸 𝑋 2 − 2𝑋𝐸 𝑋 + 𝐸 𝑋 2
= 𝐸 𝑋 2 − 𝐸 2𝑋𝐸 𝑋 + 𝐸 𝐸 𝑋 2

= 𝐸 𝑋 2 − 2𝐸 𝑋 𝐸 𝑋 + 𝐸 𝑋 2
= 𝐸 𝑋2 − 𝐸 𝑋 2

Така,
𝑉𝑎𝑟 𝑋 = 𝐸 𝑋 2 − 𝐸 𝑋 2

За r.v. 𝑋 и кпнсуануа 𝑐 имаме

2 2
𝑉𝑎𝑟 𝑋 + 𝑐 = 𝐸 𝑋 + 𝑐 − 𝐸 𝑋+𝑐 = 𝐸 𝑋 2 + 2𝑋𝑐 + 𝑐 2 − 𝐸 𝑋 2
− 2𝑐𝐸 𝑋 − 𝑐 2
= 𝐸 𝑋2 − 𝐸 𝑋 2
= 𝑉𝑎𝑟[𝑋]
и
𝑉𝑎𝑟 𝑐𝑋 = 𝐸 (𝑐𝑋)2 − 𝐸 𝑐𝑋 2
= 𝑐2𝐸 𝑋2 − 𝑐2 𝐸 𝑋 2
= 𝑐 2 𝑉𝑎𝑟[𝑋]
Дпдека среднауа вреднпсу пбезбедува усреднуваое спгласнп сп кпнцепупу на
пгранишувашки релауивни фреквенции, варијансауа е мерка за нивпуп на варијација
(у.е. пусуапуваое) на мпжниуе вреднпсуи на r.v. Друга мерка за уаква варијација е
стандардната девијација, пзнашена сп 𝜍𝑋 , или еднпсуавнп 𝜍, и дефинирана сп
𝜍𝑋 = 𝑉𝑎𝑟[𝑋]
Оууука, варијансауа шесуп се пзнашува сп 𝜍 2 . Да забележиме дека првипу ценурален
мпмену секпгащ е еднакпв на нула. Така, вуприпу ценурален мпмену, кпј е
варијанасауа, и нејзинипу квадрауен кпрен, суандарднауа девијација, се кприсуау за
мереое на нивпуп на варијација на една r.v.
Суандарднауа девијација 𝜍𝑋 на r.v. 𝑋 има исуи единици какп r.v. 𝑋. На пример, акп
r.v. 𝑋 гп преусуавува брпјпу на бајуи вп еден IP пакеу, упгащ 𝜍𝑋 исуп уака е вп бајуи. Акп
𝑋 гп преусуавува времеуп на сервисираое вп секунди на еден IP пакеу, упгащ 𝜍𝑋 исуп
уака е вп секунди. Бидејќи 𝑉𝑎𝑟 𝑋 = 𝜍𝑋 2 , единициуе на варијансауа се вп единици на
𝜍𝑋 2 , у.е. 𝑋 2 .
13
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

За 𝑛 r.v. имаме
𝑛 𝑛
𝐸 𝑋𝑖 = 𝐸[𝑋𝑖 ]
𝑖=1 𝑖=1

Акп r.v. 𝑋1 , 𝑋2 , … , 𝑋𝑛 се независни, упгащ

𝑛 𝑛
𝑉𝑎𝑟 𝑋𝑖 = 𝑉𝑎𝑟[𝑋𝑖 ]
𝑖=1 𝑖=1
и
𝑛 𝑛
𝐸 𝑋𝑖 = 𝐸[𝑋𝑖 ]
𝑖=1 𝑖=1

Следнауа уабела ги дава среднауа вреднпсу и варијансауа на некпи пд сппмнауиуе r.v.

Акп имаме примерпк пд 𝑛 реализации на r.v. 𝑋, пзнашен сп 𝑋 1 , 𝑋 2 , … , 𝑋(𝑛),

упгащ какп еден пценувач (estimator) за среднауа вреднпсу на r.v. 𝑋 мпже да се
кприсуи Средна Вреднпст пд Примерпк (Sample Mean) дефинирана сп
𝑛
𝑖=1 𝑋(𝑖)
𝑆𝑚 =
𝑛
На пример, акп изврщуваме симулација на еден шекашки сисуем и набљудуваме 𝑛
вреднпсуи на клиенуски дпцнеоа за 𝑛 разлишни клиенуи, Sample Mean би се кприсуел
да пцени дпцнеое на клиену.
Акп имаме примерпк пд 𝑛 реализации на r.v. 𝑋, пзнашен сп 𝑋 1 , 𝑋 2 , … , 𝑋(𝑛),
упгащ какп еден пценувач (estimator) за варијансауа на r.v. 𝑋 мпже да се кприсуи
Варијанса пд Примерпк (Sample Variance) дефиниранa сп
𝑛
𝑖=1[𝑋 𝑖 − 𝑆𝑚 ]2
𝑆𝑣 = , 𝑛>1
𝑛−1
Тпгащ, стандардната варијација пд примерпк е 𝑆𝑣 .
Пример 6. Разгледуваме експеримену фрлаое на кпцка сп 6 сурани. Преуппсуавуваме
дека кпцкауа е фер, у.е. секпја сурана има исуа верпјаунпсу (𝑝 = 1/6) за ппјавуваое.
Разгледуваме r.v. 𝑋 кпја зема вреднпсу 𝑖 акп исхпдпу пд фрлаоеуп е 𝑖, за 𝑖 = 1,2, … ,6.
Да се најдау 𝐸[𝑋], 𝑉𝑎𝑟[𝑋], и 𝜍𝑋 .
Одгпвпр. 𝐸 𝑋 = 3.5, 𝐸 𝑋 2 = 15.167, 𝑉𝑎𝑟 𝑋 = 2.917, и 𝜍𝑋 = 1.708.
14
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

Пример 7. Вп една Roulette игра, играшиуе ги суаваау нивниуе пблпзи, и еднп уппше се
спущуа на една пд 38 нумерирани дупки вп еднп свруувашкп уркалп сп исуа верпјаунпсу
пд 1/38. Вп сиуе пращаоа за Roulette, преуппсуавуваме дека брпјпу на кпј уппшеуп се
спущуа е независен пд брпевиуе на кпи се спущуа вп билп кпи други преухпдни или
идни игри (сврууваоа на уркалп). Еден играш има разлишни пблпжувашки ппции за
избпр. Билп кпја пд пвие ппции мпже да се преусуави сп еднп мнпжесувп пд 𝑛
нумерирани дупки. Акп играшпу суави 𝐵 дплари и акп уппшеуп се спущуи на билп кпј пд
брпевиуе вп избранпуп мнпжесувп, исплауауа щуп му се дава на играшпу е дадена сп
1 36
𝑃𝑎𝑦𝑜𝑢𝑡 = ∙ 36 − 𝑛 ∙ 𝐵 = −1 ∙𝐵
𝑛 𝑛
Акп уппшеуп не се спущуи на билп кпј пд избраниуе брпеви играшпу гп губи пблпгпу пд
𝐵 дплари. На пример, акп 𝐵 = 1 и 𝑛 = 18, играшпу дпбива исплауа пд 1 дплар. Еден
Roulette има 18 црвени дупки и 18 црни дупки, и има две дпдауни зелени дупки за
нула и двпјна-нула. Еден нашин за пблпжуваое на избранп мнпжесувп пд 18 брпеви е
пблпжуваое на црвенп (на сиуе 18 црвенп пбпени дупки). Да се најде среднипу (у.е.
пшекуванипу) дпбиу за играшпу кпј влпжува 𝐵 = 1 вп една игра за релевануен ппсег пд
𝑛 вреднпсуи.
Одгпвпр. За слушајпу 𝐵 = 1 и 𝑛 = 18, играшпу дпбива 1 дплар сп верпјаунпсу 18/38, и
губи 1 дплар сп верпјаунпсу 20/38. Нека слушајнауа прпменлива 𝑋 гп преусуавува
дпбиупу вп една игра. Ппради упа, среднипу дпбиу е даден сп
18 20
𝐸𝑋 = 1 ∙ + −1 ∙ = −0.053.
38 38
Да се ппвупри пваа пресмеука за разлишни 𝑛 вреднпсуи.

15
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

2. Случајни прпцеси
За разбираое на пднесуваоауа на разлишни прирпдни и вещуашки прпцеси, уие
шесуп се мпделираау какп кплекции пд r.v. каде суауисуишкиуе каракуерисуики и
зависнпсуи на уакви r.v. се присппспбени кпн пние на реалниуе прпцеси. Ппради упа,
исуражуваоеуп вп пплеуп на слушајни прпцеси има 3 аспекуи:
1. Теприја: мауемауишки исуражуваоа на мпдели за супхасуишки прпцеси кпи
имаау за цел ппдпбрп разбираое на нивниуе пспбини.
2. Мереоа: изврщени на реален прпцес за да се иденуификуваау негпвиуе
суауисуишки каракуерисуики.
3. Мпделираое: присппспбуваое на измерениуе суауисуишки каракуерисуики на
реалнипу прпцес сп пние на еден мпдел и развиваое на нпви мпдели за
слушајни прпцеси щуп дпбрп пдгпвараау (у.е. се слпжуваау) на реалнипу прпцес.
За еднп даденп ппдреденп мнпжествп 𝑇, случаен прпцес {𝑿𝒕 , 𝒕 ∈ 𝑻} е ппдредена
кплекција пд r.v. Тие мпже или не мпже да бидау иденуишнп распределени. Вп мнпгу
примени, индекспу 𝑡 се кприсуи да мпделира време. Сппред упа, r.v. 𝑋𝑡 за даденп 𝑡
мпже да гп преусуавува, на пример, брпјпу на уелефпнски ппвици кпи присуигнале вп
една ценурала за време 𝑡.
Акп ппдреденпуп мнпжесувп 𝑇 е пребрпивп, слушајнипу прпцес се вика дискретнп-
временски прпцес, или временска серија. Вп спрпуивнп, слушајнипу прпцес се вика
непрекинатп-временски прпцес.
Разгледувајќи гп преухпднипу пример, каде брпјпу на уелефпнски ппвици щуп
присуинуваау вп една ценурала за време 𝑡 се мпделира какп еден непрекинауп-
временски прпцес {𝑋𝑡 , 𝑡 ∈ 𝑇}, мпжеме алуернауивнп да кприсуиме дискреунп-
временски прпцес да ја мпделираме исуауа рабпуа. Ова мпже да се направи сп
дефинираое на дискреунп-временскипу прпцес {𝑋𝑛 , 𝑛 = 1,2,3, … }, каде 𝑋𝑛 е r.v. щуп гп
преусуавува, на пример, брпјпу на ппвици щуп присуигнуваау вп 𝑛-уа минууа.
Еден слушаен прпцес {𝑋𝑡 , 𝑡 ∈ 𝑇} се нарекува дискретнп прпстпрен слушаен прпцес
акп r.v. 𝑋𝑡 се дискреуни, а се нарекува непрекинатп прпстпрен слушаен прпцес акп
уие се непрекинауи. Ппради упа, имаме 4 уиппви на слушајни прпцеси:
1. Дискреунп-временски дискреунп-прпсупрен (Discrete-Time Discrete-Space)
2. Дискреунп-временски непрекинауп-прпсупрен (Discrete-Time Continuous-Space)
3. Непрекинауп-временски дискреунп-прпсупрен (Continuous-Time Discrete-Space)
4. Непрекинауп-временски непрекинауп-прпсупрен (Continuous-Time Continuous-Space)
Еден дискреунп-временски слушаен прпцес {𝑋𝑛 , 𝑛 = 1,2,3, … } е стрпгп стаципнарен,
акп за билп кпе ппдмнпжесувп пд {𝑋𝑛 }, на пр. {𝑋𝑛 1 , 𝑋𝑛 2 , … , 𝑋𝑛(𝑘) }, за билп кпј цел
брпј 𝑚 здруженауа верпјаунпсуна функција 𝑃(𝑋𝑛 1 +𝑚 , 𝑋𝑛 2 +𝑚 , … , 𝑋𝑛 𝑘 +𝑚 ) е независна
пд 𝑚. Вп пвпј слушај, верпјаунпсунауа сурукуура на прпцеспу не се менува сп времеуп.
Акп вреднпсуа на 𝑘 е пгранишена сп некпја вреднпсу 𝑘 ∗, велиме дека прпцеспу е
стаципнарен пд ред 𝑘 ∗ .
Еквиваленуна дефиниција за сурпга суаципнарнпсу се применува за непрекинауп-
временски слушаен прпцес. Еден уакпв прпцес 𝑋𝑡 е стрпгп стаципнарен, акп негпвиуе
суауисуишки пспбини не се менуваау сп ппмесууваое на ппшеупкпу. Именп, прпцеспу 𝑋𝑡
е суауисуишки исуипу какп прпцеспу 𝑋𝑡−𝑑 за билп кпја вреднпсу на 𝑑.
16
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

Еден важен слушаен прпцес е Gaussian прпцес, дефиниран какп прпцес кпј ја има
пспбинауа дека здруженауа верпјаунпсуна функција (гусуина) придружена на билп кпе
мнпжесувп пд времиоа е multivariate Gaussian. Негпвауа важнпсу лежи вп негпвауа
пспбина да биде упшен мпдел за суперппзиција на мнпгу независни прпцеси. Ова гп
прави Gaussian прпцес еден кприсен мпдел за мнпгу мулуиплексиранипу сппбраќај, кпј
дпада кај кпмууауприуе или рууериуе длабпкп вп една главна уелекпмуникациска мрежа.
За среќа, Gaussian прпцес не е самп кприсен, ууку упј исуп уака е еднпсуавен и
ппкпрен за анализа. За една multivariate Gaussian распределба, сиуе здружени
мпменуи на Gaussian слушајни прпменливи целпснп се пдредени сп здружениуе
мпменуи пд прв и вупр ред на прпменливиуе. Ппради упа, акп пвие мпменуи не се
менуваау сп времеуп, самиуе Gaussian слушајни прпменливи се суаципнарни. Ова
имплицира дека за еден Gaussian прпцес, суаципнарнпсу пд ред два (исуп уака
нарешена слаба стаципнарнпст) имплицира сурпга суаципнарнпсу.
За една временска серија {𝑋𝑛 , 𝑛 = 1,2,3, … }, слаба суаципнарнпсу имплицира дека,
за сиуе 𝑛, 𝐸(𝑋𝑛 ) е кпнсуануа, пзнашена сп 𝐸(𝑋), независнп пд 𝑛. Именп, 𝐸 𝑋 = 𝐸(𝑋𝑛 ),
за секпе 𝑛.
2.1. Тпчкасти прпцеси
Специјална класа на слушајни прпцеси се тпчкасти прпцеси, кпи исуп уака
ппседуваау две пспбини: ппдреденпст (orderliness) и без мемприја (memorylessness).
Два прпцеси щуп припадаау на пваа специјална класа се: еден е дискреунп-временски,
нарешен Bernoulli прпцес, и друг е непрекинауп-временски, нарешен Poisson прпцес.
Тпшкасу прпцес е една низа пд насуани, кпи ги нарекуваме дпадаоа щуп се
ппјавуваау слушајнп вп временски упшки 𝑡𝑖 (𝑖 = 1,2, … ). Ги нарекуваме насуаниуе
дпадаоа вп кпнуексу сп шекашкиуе сисуеми, каде упшкасу прпцес уипишнп пдгпвара на
упшкиуе на дпадаоа, у.е. 𝑡𝑖 е времеуп на 𝑖-уп дпадаое кпе се приклушува на редицауа.
Тпшкасу прпцес мпже да се дефинира сп негпвипу брпечки прпцес {𝑁 𝑡 , 𝑡 ≥ 0},
каде 𝑁 𝑡 е брпјпу на дпадаоа ппјавени внауре вп [0, 𝑡). Еден брпешки прпцес ги има
следниуе пспбини:
1. 𝑁 𝑡 ≥ 0.
2. 𝑁 𝑡 е цел брпј.
3. Акп 𝑠 > 𝑡, упгащ 𝑁(𝑠) ≥ 𝑁(𝑡) и 𝑁 𝑠 − 𝑁(𝑡) е брпјпу на ппјавуваоа вп (𝑡, 𝑠].
Да забележиме дека 𝑁(𝑡) не е независен прпцес. Друг нашин да се дефинира
упшкасу прпцес е сп слушајнипу прпцес на времиоауа на меду-дпадаоа: Δ𝑖 = 𝑡𝑖+1 − 𝑡𝑖 .
Една важна пспбина на еден брпешки прпцес е у.н. ппдреднпст, кпја знаши дека
верпјаунпсуа дека две или ппвеќе дпадаоа се слушуваау наеднащ е занемарлива. За еден
непрекинауп-временски брпешки прпцес да биде ппдреден, упј уреба да испплнува:
lim 𝑃(𝑁 𝑡 + Δ𝑡 − 𝑁 𝑡 > 1|𝑁 𝑡 + Δ𝑡 − 𝑁 𝑡 ≥ 1) = 0.
𝑡→0

Друга мнпгу важна пспбина е без мемприја. Еден слушаен прпцес е без мемприја
акп вп билп кпја временска упшка, иднипу развпј на прпцеспу е суауисуишки независен
пд негпвпуп минауп.

17
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

2.1.1. Bernoulli прпцес

Bernoulli прпцес е дискреунп-временски слушаен прпцес спздаден пд низа пд
независни Bernoulli распределени слушајни прпменливи {𝑋𝑛 , 𝑛 = 0,1,2, … }, каде за
сиуе 𝑛 ≥ 0, 𝑃 𝑋𝑛 = 1 = 𝑝 и 𝑃 𝑋𝑛 = 0 = 1 − 𝑝. Сп други збпрпви, гп делиме времеуп
вп спседни еднакви временски слпупви. Ппупа, за секпј временски слпу 𝑖, сппведуваме
еден независен Bernoulli експеримену. Акп 𝑋𝑛 = 1, велиме дека ималп еднп дпадаое
вп временскипу слпу 𝑖. Вп спрпуивнп, акп 𝑋𝑛 = 0, велиме дека немалп дпадаое вп
временскипу слпу 𝑖.
Bernoulli прпцеспу е ппдреден и е без мемприја. Брпешкипу прпцес за Bernoulli
прпцеспу е друг дискреунп-временски слушаен прпцес {𝑁 𝑛 , 𝑛 ≥ 0}, кпј е една низа пд
Binomial слушајни прпменливи 𝑁 𝑛 , кпи гп преусуавуваау вкупнипу брпј на дпадаоа
щуп се ппјавуваау вп првиуе 𝑛 временски слпуа. Да забележиме дека бидејќи
ппшнуваме пд слпу 0, 𝑁 𝑛 не гп вклушува слпу 𝑛 вп брпеоеуп.
On-off извприуе мпже да се мпделираау какп Bernoulli прпцеси, каде on-перипдиуе
се преусуавени сп ппследпвауелни успеси пд Bernoulli пбиди и off-перипдиуе сп
неуспеси. Вп пвпј слушај, за секпј on-off прпцес, дплжинауа на on и off перипдиуе пбеуе
се гепмеуриски распределени. Спгласнп упа, суперппзицијауа пд 𝑁 Bernoulli прпцеси
сп парамеуар 𝑝 е друг дискреунп-временски слушаен прпцес, каде брпјпу на дпадаоа
вп уекпу на разлишни слпупви е независнп и binomial распределен сп парамеури 𝑁 и 𝑝.
2.1.1. Poisson прпцес
Poisson прпцес е непрекинауп-временски упшкасу прпцес кпј исуп уака е без
мемприја и е ппдреден. Тпј се применува вп мнпгу слушаи каде пдреден насуан се
слушува вп разлишни временски упшки. На пример, уакви слушуваоа на насуани мпже да
бидау дпадаоа на бараоа за уелефпнски ппвици кај уелефпнска ценурала. Такпв еден
прпцес мпже да се ппище сп негпвипу брпешки прпцес {𝑁 𝑡 , 𝑡 ≥ 0} кпј гп преусуавува
вкупнипу брпј на слушуваоа дп време 𝑡.
Еден брпешки прпцес се дефинира какп Poisson прпцес сп рауа 𝜆 > 0, акп ги
испплнува следниуе ури услпви.
1. 𝑁 0 = 0.
2. Брпјпу на слушуваое вп два не-преклппувашки инуервала е независен. Однпснп,
за секпе 𝑠 > 𝑡 > 𝑢 > 𝑣 > 0, слушајниуе прпменливи 𝑁 𝑠 − 𝑁(𝑡) и 𝑁 𝑢 − 𝑁(𝑣)
се независни. Ова знаши дека Poisson прпцеспу гп има упа щуп се нарекува
независни инкременти.
3. Брпјпу на слушуваоа вп еден инуервал сп дплжина 𝑡 има Poisson разпределба
сп средна вреднпсу 𝜆 ∙ 𝑡.
Пп дефиниција, Poisson прпцеспу 𝑁(𝑡) има стаципнарни инкременти, у.е. за секпи
𝑡2 > 𝑡1 , слушајниуе прпменливи 𝑁 𝑡2 − 𝑁(𝑡1 ) и 𝑁 𝑡2 + 𝑢 − 𝑁(𝑡1 + 𝑢) имаау исуа
распределба за секпе 𝑢 > 0. Вп пбауа слушаи, распределбауа е Poisson сп парамеуар
𝜆 ∙ (𝑡2 − 𝑡1 ). Инууиуивнп, акп гп избереме временскипу инуервал Δ = 𝑡2 − 𝑡1 да биде
прпизвплнп мал (скпрп една „упшка“ вп време), упгащ верпјаунпсуа за слушуваое уаму
е исуа без пглед каде е „упшкауа“. Слпбпднп кажанп, секпја временска упшка ја има
исуауа щанса за слушуваое. Ппради упа, слушуваоауа се еднаквп верпјауни да се
ппјавау вп секпе време. Ова свпјсувп исуп уака се нарекува временска-хпмпгенпст.

18
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

Другп важнп свпјсувп на Poisson прпцеспу е дека времеуп на меду-дпадаоа 𝑇 на

слушуваоа е експпненцијалнп распределенп сп парамеуар 𝜆. Среднпуп време на меду-
дпадаоа е даденп сп
1
𝐸𝑇 = .
𝜆
Ова свпјсувп мпже да служи какп друга дефиниција на Poisson прпцеспу. Еден
Poisson прпцес сп рауа 𝜆 е упшкасу прпцес каде времиоауа на меду-дпадаоа се
независни и експпненцијалнп распределени слушајни прпменливи сп средна вреднпсу
1/𝜆.
Сп свпјсувпуп на без мемприја на експпненцијалнауа распределба, времеуп дп
следнпуп ппјавуваое секпгащ е експпненцијалнп распределенп и ппради упа, вп секпја
временска упшка и не неппхпднп вп упшкиуе на ппјавуваоа, иднауа евплуција на
Poisson прпцеспу е независна пд минаупуп, и е секпгащ верпјаунпсунп исуа. Ппради упа,
Poisson прпцеспу е без мемприја. Всущнпсу, независнпсуа пд минаупуп исуп уака мпже
да се пбјасни сп свпјсувпуп на Poisson прпцеспу за независни инкременти, и факупу
дека иднауа евплуција е верпјаунпсунп исуа исуп уака мпже да се пбјасни сп свпјсувпуп
за стаципнарни инкременти.
Суперппзиција пд ппвеќе Poisson прпцеси е друг упшкасу прпцес кпј ги вклушува сиуе
упшки пд разлишниуе прпцеси. Другп важнп свпјсувп на Poisson прпцеспу е дека
суперппзиција пд два Poisson прпцеси сп парамеури 𝜆1 и 𝜆2 е еден Poisson прпцес сп
парамеуар 𝜆1 + 𝜆2 . Да забележиме дека вп уакпв слушај, вп секпја временска упшка,
времеуп дп следнпуп слушуваое е наупревар меду две експпненцијални слушајни
прпменливи, една сп парамеуар 𝜆1 и друга сп парамеуар 𝜆2 . Нека 𝑇 е времеуп дпдека
се слуши ппбедникпу пд двеуе, и нека 𝑇1 и 𝑇2 се времиоауа дп следнпуп слушуваое на
првипу прпцес и вуприпу прпцес, сппдвеунп. Тпгащ,
𝑃 𝑇 > 𝑡 = 𝑒 −(𝜆 1 +𝜆 2 )∙𝑡 .
Така, времеуп на меду-дпадаое на суперппзицијауа е експпненцијалнп
распределенп сп парамеуар 𝜆 = 𝜆1 + 𝜆2 . Ова е дпследнп сп факупу дека
суперппзицијауа на двауа прпцеса е еден Poisson прпцес сп парамеуар 𝜆1 + 𝜆2 .
Суперппзиција пд 𝑁 Poisson прпцеси сп парамеури 𝜆1 , 𝜆2 … , 𝜆𝑁 е еден Poisson
прпцес сп парамеуар 𝜆 = 𝜆1 + 𝜆2 + ⋯ + 𝜆𝑁 . Два дпкази се мпжни: еднипу е заснпван
на уриуе услпви за Poisson прпцес, а за другипу се кприсуи дефиницијауа заснпвана
дека времиоауа на меду-дпадаоа се независни и иденуишни експпненцијални слушајни
прпменливи.
Вп мнпгу мрежни апликации, пд инуересу е да се суудира ефекупу на разделуваое
на пакеуни дпадашки прпцеси. Ппсебнп, ќе разгледаме два вида на разделуваоа:
слушајнп и регуларнп. Да се пбјасни разликауа меду двеуе, разгледуваме еден дпадашки
(брпешки) прпцес 𝑋(𝑡), 𝑡 ≥ 0, пд пакеуи дп пдреден кпмууаупр, нарешен Switch X. За
пвпј пакеунп дпадашки прпцес се преуппсуавува дека следи Poisson прпцес сп
парамеуар 𝜆. Ппупа, некпи пд пвие пакеуи се прпследени дп Switch A и други дп Switch B.
Брпешкиуе прпцеси пд пакеуи прпследени дп A и B се пзнашени сп 𝑋𝐴 (𝑡) и 𝑋𝐵 (𝑡), 𝑡 ≥ 0,
сппдвеунп.
При слушајнп разделуваое, секпј пакеу щуп дпада вп Switch X се прпследува дп A сп
верпјаунпсу 𝑝 и дп B сп верпјаунпсу 1 − 𝑝 независнп пд билп кпј друг насуан ппврзан сп
19
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

други пакеуи. Вп пвпј слушај, прпцеспу 𝑋𝐴 (𝑡), 𝑡 ≥ 0, следи Poisson прпцес сп парамеуар
𝑝 ∙ 𝜆, и прпцеспу 𝑋𝐵 (𝑡), 𝑡 ≥ 0, следи Poisson прпцес сп парамеуар (1 − 𝑝) ∙ 𝜆.
Забележуваме дека 𝑋(𝑡), 𝑋𝐴 (𝑡) и 𝑋𝐵 (𝑡) гп преусуавуваау брпјпу на ппјавуваоа вп уекпу
на временскипу инуервал [0, 𝑡) за секпј пд пвие прпцеси. Преуппсуавуваме дека
прпследуваоеуп се прави инсуанунп при дпадаое вп Switch X, уака 𝑋 𝑡 = 𝑋𝐴 𝑡 + 𝑋𝐵 (𝑡).
Слушајпу на разделуваое на Poisson прпцес вп два Poisson прпцеси сп слушаен избпр
на секпе ппјавуваое мпже да се генерализира вп разделуваое на Poisson прпцес вп 𝑁
прпцеси на слишен нашин. Опщуп, акп разгледаме разделуваое на Poisson прпцес сп
рауа 𝜆 вп 𝑁 упшкасуи прпцеси, каде секпе ппјавуваое на пригиналнипу прпцес
ппсуанува ппјавуваое на еден пд 𝑁-уе упшкасуи прпцеси, именп, на 𝑖-пу прпцес сп
верпјаунпсу 𝑝𝑛 ≥ 0, 𝑛 = 1,2, … , 𝑁, каде 𝑁𝑛=1 𝑝𝑖 = 1, упгащ секпј пд пвие 𝑁 прпцеси е
еден Poisson прпцес, каде рауауа на 𝑛-пу прпцес, 𝑛 = 1,2, … , 𝑁, е еднаква на 𝑝𝑛 ∙ 𝜆.
Забележуваме дека разделуваоеуп на еден Poisson прпцес на мнпгу Poisson прпцеси,
или разделуваое на еден Bernoulli прпцес на Bernoulli прпцеси, бара слушаен избпр за
секпе ппјавуваое. Акп на пример, разделуваоеуп не е слушајнп, ууку регуларнп, првипу
пакеу щуп дпада на Switch X се прпследува дп A, вуприпу дп B, уреуипу дп A, шеувруипу
дп B, иун. Вп пвпј слушај, пакеунипу ппупк пд X дп A (X-A прпцеспу) нема да следи
Poisson прпцес. Тпј ќе следи еден слушаен прпцес, кпј е упшкасу прпцес каде времиоауа
на меду-дпадаоа се Erlang распределени сп парамеури 𝜆 и 2.
Свпјсувауа на Poisson прпцеспу, именп, независнпсу и временска-хпмпгенпсу,
пвпзмпжуваау упј слушајнп да прегледува други непрекинауп-временски слушајни
прпцеси на нашин каде примерпкпу щуп упј гп пбезбедува ни дава дпвплнп
инфпрмација за временски-усреднуваоа. Сп други збпрпви, негпвиуе прегледуваоа
не се присурасуни. Примери на временски-усреднуваоа се делпу пд времеуп еден
прпцес 𝑋(𝑡) да е вп спсупјба 𝑛, у.е. делпу пд времеуп вп шиј уек 𝑋 𝑡 = 𝑛, или вкупнауа
средна вреднпсу на прпцеспу дефинирана сп
𝑇
𝑜
𝑋(𝑡) ∙ 𝑑𝑡
𝐸𝑋 𝑡 =
𝑇
за еден прпизвплнп гплем инуервал 𝑇. Овие свпјсува дека еднп ппјавуваое мпже да се
слуши вп билп кпе време сп еднаква верпјаунпсу, без пглед на времиоауа на минауиуе
ппјавуваоа, дпведува дп изразпу прпцес сп шиста щанса (pure chance process) за
Poisson прпцеспу.
Ппкрај Poisson прпцеспу, има други прпцеси, у.н. мешачки прпцеси кпи исуп уака гп
имаау свпјсувпуп на прегледуваоа без присураснпсу. Ппсебнп, се кприсуи упшкасу
прпцес каде времиоауа на меду-дпадаое се независнп Gamma (генерализација на
Erlang слушајна прпменлива) распределени за мереое на загуба на пакеуи и дпцнеое
преку Инуернеу. Такпв упшкасу прпцес е еден мещашки прпцес, и уака мпже „да види
временски-усреднуваоа“ без присураснпсу.
Слушајнипу прпцес нарешен Markov modulated Poisson process (MMPP) е упшкасу
прпцес кпј се пднесува какп Poisson прпцес сп парамеуар 𝜆𝑖 за еден временски перипд
кпј е експпненцијалнп распределен сп парамеуар 𝛿𝑖 . Ппупа упј се придвижува вп
спсупјба (режим) 𝑗, каде се пднесува какп Poisson прпцес сп парамеуар 𝜆𝑗 за еден
временски перипд кпј е експпненцијалнп распределен сп парамеуар 𝛿𝑗 . Парамеуриуе
се нарешени параметри за траеое на режими (mode duration parameters). Опщуп,
20
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

MMPP мпже да има прпизвплен брпј на режими, уака урба да се специфицира

верпјаунпсуа дека се движи вп режим 𝑗, кпга е вп режим 𝑖. Сепак, гп разгледуваме
наједнпсуавнипу слушај на MMPP, у.е. MMPP сп два режима, пзнашен сп MMPP(2) и
дефиниран самп сп 4 парамеури: 𝜆0 , 𝜆1 , 𝛿0 , 𝛿1 . MMPP(2) се пднесува какп еден Poisson
прпцес, кпј се менува меду двауа режими 0 и 1.
Специјален слушај на MMPP(2) каде 𝜆0 = 0 е нарешен Interrupted Poisson Process
(IPP). Тпј се каракуеризира сп 3 парамеури: 𝜆, 𝛿0 , 𝛿1 . IPP се пднесува какп Poisson
прпцес сп парамеуар 𝝀 вп уекпу на активнипт режим за еден временски перипд кпј е
експпненцијалнп распределен сп парамеуар 𝜹𝟏 . Ппупа, упј е прекинау без да има
впппщуп дпадаоа вп уекпу на пасивнипт режим за еден временски перипд кпј е
експпненцијалнп распределен сп парамеуар 𝜹𝟎 . Ппупа, упј се враќа вп акуивен режим,
иун., менувајќи се меду двауа режима: акуивен и пасивен.
2.2. Маркпви синџири
Маркпви синџири се пдредени дискреунп-прпсупрни слушајни прпцеси кпи се
ппкпрни за анализа и пууука се мнпгу пппуларни за анализа, каракуеризираое на
сппбраќајпу, и мпделираое на шекашки и уелекпмуникациски мрежи и сисуеми. Тие
мпже да се класифицираау вп две групи: дискреунп-временски и непрекинауп-
временски маркпви синчири.
Дискретнп-временски Маркпв синчир (DTMC) е еден дискреунп-временски слушаен
прпцес {𝑋𝑛 , 𝑛 = 0,1,2, … } сп Маркпвптп свпјствп; именп, дека вп секпја временска
упшка 𝑛, иднауа евплуција на прпцеспу зависи самп пд спсупјбауа на прпцеспу вп време
𝑛, а не зависи пд минауауа евплуција на прпцеспу.
Еден Маркпв синчир е нарешен несмалувачки (irreducible), акп сиуе спсупјби вп
негпвипу прпсупр на спсупјби се дпсуапни меду себе. Однпснп, целипу прпсупр на
спсупјби е една кпмуницирашка класа.
Една спсупјба 𝑖 има перипд 𝑚, акп 𝑚 е најгплемипу заеднишки делиуел (НЗД) на
мнпжесувпуп {𝑛: 𝑃 𝑋𝑛 = 𝑖 𝑋0 = 𝑖 > 0}. Вп пвпј слушај, Маркпвипу синчир мпже да се
врауи вп спсупјба 𝑖 самп вп еден брпј на шекпри щуп е спдржауел на 𝑚. За една
спсупјба се вели дека е неперипдишна, акп има перипд 1. За еден Маркпв синчир се
вели дека е неперипдичен, акп сиуе негпви спсупјби се неперипдишни.
Кпга Маркпвипу синчир е вп спсупјба 𝑛, дефинираме време на враќаое (return time)
какп слушајна прпменлива 𝑅𝑛 щуп гп преусуавува времеуп кпга Маркпвипу синчир
ппвупрнп ќе се врауи вп спсупјба 𝑛. Една спсупјба се нарекува минлива (transient) акп,
кпга сме ппшнале пд неа, има ппзиуивна верпјаунпсу дека никпгащ нема да се врауиме
вп неа. Сп други збпрпви, спсупјбауа 𝑛 е минлива акп 𝑃 𝑅𝑛 < ∞ < 1. Една спсупјба се
нарекува ппвратна (recurrent), акп не е минлива. Именп, акп 𝑃 𝑅𝑛 < ∞ = 1.
Спсупјбауа 𝑛 се нарекува ппзитивнп ппвратна, акп 𝐸(𝑅𝑛 ) е кпнешна. Една ппврауна
спсупјба щуп не е ппзиуивнп ппврауна се нарекува нултп ппвратна. Вп еден Маркпв
синчир сп кпнешни спсупјби, нема нулуп ппврауни спсупјби, у.е. сиуе ппврауни спсупјби
мпра да се ппзиуивнп ппврауни. Велиме дека еден Маркпв синчир е стабилен акп
сиуе негпви спсупјби се ппзиуивнп ппврауни.

21
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

Непрекинатп-временски Маркпв синчир (CTMC) е еден непрекинауп-временски

слушаен прпцес {𝑋𝑡 , 𝑡 > 0}. Вп секпја временска упшка 𝑡, {𝑋𝑡 } ја ппищува спсупјбауа на
прпцеспу. Ќе разгледаме самп синчири каде 𝑋𝑡 зема не-негауивни целпбрпјни
вреднпсуи. Времеуп меду прпмениуе вп спсупјбауа на прпцеспу е експпненцијалнп
распределенп. Сп други збпрпви, прпцеспу псуанува кпнсуануен за еднп експпненцијалнп
ураеое на времеуп пред да се прпмени вп друга спсупјба.
Опщуп, за {𝑋𝑡 } верпјаунпсунауа распределба за идниуе вреднпсуи на прпцеспу 𝑋𝑡 ,
кпга се дадени сегащнауа вреднпсу и минауиуе вреднпсуи на 𝑋𝑡 , е независна пд
минаупуп и зависи самп пд сегащнпсуа.
Исуп уака, еден ппщу непрекинатп-временски Маркпв синчир мпже да се дефинира
какп слушаен прпцес сп следниуе свпјсува:
1. Кпга прпцеспу ќе влезе вп спсупјба 𝑖, псуанува вп уаа спсупјба некпе време кпе е
експпненцијалнп распределенп сп парамеуар 𝛿𝑖 , пред да премине вп разлишна
спсупјба.
2. Кпга прпцеспу ја напущуа спсупјба 𝑖, упј влегува вп спсупјба 𝑗 сп верпјаунпсу 𝑃𝑖𝑗 ,
кпја мпра да ги испплни: (1) 𝑃𝑖𝑖 = 0 за сиуе 𝑖; (2) 𝑗 𝑃𝑖𝑗 = 1.
Еден пример на CTMC е Poisson прпцес сп рауа 𝜆. Спсупјбауа вп време 𝑡, {𝑋𝑡 } мпже
да е брпјпу на ппјавуваоа дп време 𝑡, щуп е брпешкипу прпцес 𝑁(𝑡). Вп пвпј пример на
Poisson брпешкипу прпцес, 𝑋𝑡 = 𝑁(𝑡) се згплемува за еден ппсле секпе
експпненцијалнп ураеое на времеуп сп парамеуар 𝜆.
Друг пример е у.н. прпцес на шистп радаое {𝑋𝑡 }. Тпј е една генерализација на
брпешкипу Poisson прпцес. Ппвупрнп {𝑋𝑡 } се згплемува за еден секпе експпненцијалнп
време, нп пвде, намесуп да имаме фиксен парамеуар 𝜆 за секпј пд пвие
експпненцијални инуервали, пвпј парамеуар зависи пд спсупјбауа 𝑛 на прпцеспу и е
пзнашен сп 𝛿𝑛 . Сп други збпрпви, кпга 𝑋𝑡 = 𝑛, времеуп дп следнпуп ппјавуваое вп
кпе {𝑋𝑡 } се згплемува пд 𝑛 дп 𝑛 + 1 е експпненцијалнп распределенп сп парамеуар 𝛿𝑛 .
Акп суавиме 𝛿𝑛 = 𝜆 за сиуе 𝑛, гп имаме Poisson брпешкипу прпцес.
Кпга упшнп нумеришкп рещение не мпже да се дпбие, шесуп се ппупираме на
симулации. За среќа, заради специјалнауа сурукуура на CTMC заеднп сп пдреденп свпјсувп
на Poisson прпцеспу нарешенп PASTA (Poisson Arrivals See Time Averages), симулацииуе
на CTMC мпдели мпже да се ппеднпсуавау и забрзаау впдејќи дп исправни резулуауи.
За да се пбјасни PASTA свпјсувпуп, разгледуваме еден слушаен прпцес за кпгп
ппсупјау верпјаунпсуиуе вп суабилна спсупјба. Акп не инуересира дпбиваое на
пдредени суауисуишки каракуерисуики вп суабилна спсупјба на прпцеспу (какп 𝑝𝑛 вп
еден CTMC), мпже да ја прегледаме целауа евплуција на прпцеспу (вп пракуика, за
еден дпвплнп дплг временски перипд), или мпже да кприсуиме еден независен
Poisson прегледуваш (веќе гп дискууиравме свпјсувпуп на Poisson прпцеспу за да гледа
временски-усреднуваоа). PASTA принциппу знаши дека акп дпадаоауа следау Poisson
прпцес, не ни уреба ппсебен Poisson прегледуваш, ууку мпже да гп прегледаме
прпцеспу на ппјавуваоа на упшки вп времеуп упкму пред упшки на дпадаоа.
Да забележиме дека вп пракуика, бидејќи сме пгранишени на еден кпнешен брпј на
прегледи, уреба да пдбереме Poisson прпцес щуп ќе има дпвплен брпј на ппјавуваоа
(прегледуваоа) вп уекпу на симулацијауа на слушајнипу прпцес за кпгп сакаме да ги
дпбиеме негпвиуе суауисуики вп суабилна спсупјба.
22
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

𝜆0 𝜆𝑛−1 𝜆𝑛 𝜆𝑀−1

0 ....... n-1 n n+1 ....... M

𝜇1 𝜇𝑛 𝜇𝑛 +1 𝜇𝑀

Сл. 1. Прпцес на радаое и умираое (BDP)

сп гплемина 𝑀 + 1.

2.3. Прпцеси на Радаое и Умираое

Вп мнпгу апликации пд реалнипу живпу (уакви какп разлишни шекашки сисуеми, кпи
се ппгпдни за CTMC мпделираое) спсупјбауа на сисуемпу вп една временска упшка
ппнекпгащ се згплемува за една, и вп други времиоа се намалува за една, нп никпгащ
не се згплемува или намалува за ппвеќе пд една вп една временска инсуанца. Такпв
CTMC {𝑋𝑡 }, какп и негпвипу дупликау DTMC {𝑋𝑛 }, се нарекува Прпцес на Радаое и
Умираое (Birth and Death Process – BDP). Вп пвпј слушај, за верпјаунпсуа на премин 𝑃𝑖𝑗
пд спсупјба 𝑖 вп спсупјба 𝑗, имаме: 𝑃𝑖𝑗 = 0 акп 𝑖 − 𝑗 > 1 и 𝑃𝑖𝑗 > 0 акп 𝑖 − 𝑗 = 1.
Вп уакпв прпцес, времеуп меду ппјавуваоа вп спсупјбауа 𝑛 (𝑛 = 0,1,2, … ) е
експпненцијалнп распределенп сп парамеуар 𝜹𝒊 , и вп секпја упшка на ппјавуваое прпцеспу
се згплемува за еден (пд негпвауа преухпдна вреднпсу 𝑛 на 𝑛 + 1) сп верпјаунпсу
(𝑝𝑏𝑖𝑟𝑡 𝑕 )𝑛 , и се намалува за еден (пд 𝑛 на 𝑛 − 1) сп верпјаунпсу (𝑝𝑑𝑒𝑎𝑡 𝑕 )𝑛 = 1 − (𝑝𝑏𝑖𝑟𝑡 𝑕 )𝑛 .
Преминиуе 𝑛 → (𝑛 + 1) се нарешени радаоа, а преминиуе 𝑛 → (𝑛 − 1) се нарешени
умираоа. Да ппусеуиме дека среднпуп време на меду-ппјавуваоа, кпга е прпцеспу вп
спсупјба 𝑖, е 𝟏/𝜹𝒏 . Оууука, рауауа на радаое вп спсупјба 𝑛, пзнашена сп 𝜆𝑛 , е дадена сп:
𝜆𝑛 = 𝛿𝑛 ∙ (𝑝𝑏𝑖𝑟𝑡 𝑕 )𝑛 ,
и рауауа на умираое вп спсупјба 𝑛, пзнашена сп 𝜇𝑛 , е дадена сп:
𝜇𝑛 = 𝛿𝑛 ∙ (𝑝𝑑𝑒𝑎𝑡 𝑕 )𝑛 .
Сумауа на пвие две равенсува гп дава инууиуивнипу резулуау дека вкупнауа рауа вп
спсупјба 𝑖 е еднаква на сумауа пд рауиуе на радаое и умираое. Именп,
𝛿𝑛 = 𝜆𝑛 + 𝜇𝑛 .
Ппради упа, среднпуп време на меду-ппјавуваоа е:
1 1
=
𝛿𝑛 𝜆𝑛 + 𝜇𝑛
Така, за верпјаунпсуиуе (𝑝𝑏𝑖𝑟𝑡 𝑕 )𝑛 вп спсупјбауа 𝑛, имаме
𝜆𝑛
(𝑝𝑏𝑖𝑟𝑡 𝑕 )𝑛 = ,
𝜆𝑛 + 𝜇𝑛
и за верпјаунпсуиуе (𝑝𝑑𝑒𝑎𝑡 𝑕 )𝑛 вп спсупјбауа 𝑛, имаме
𝜇𝑛
(𝑝𝑑𝑒𝑎𝑡 𝑕 )𝑛 = .
𝜆𝑛 + 𝜇𝑛
BDPs се применуваау за шекашки сисуеми, каде клиенуиуе дпадаау и заминуваау еден
пп еден. Да разгледаме, на пример, еден BDP сп рауа на умираое ппгплема пд рауа на
радаое. Такпв прпцес мпже да мпделира, на пример, еден суабилен шекашки сисуем сп
еден сервер.

23
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

Една пппулација пд енуиуеуи (или, ппупшнп, пднесуваоеупуп на нејзиниуе енуиуеуи)

мпже да се мпделира сп BDP сп спсупјби 𝑛, 𝑛 = 0,1, … , 𝑀, гплемина 𝑀 + 1 и рауи на
премин 𝜆𝑛 , 𝜇𝑛+1 , 𝑛 = 0,1, … , 𝑀 − 1, какп щуп е ппкажанп на Сл. 1; 𝜆𝑛 е рауауа на
дпадаое кпга има 𝑛 енуиуеуи, у.е. рауауа на премин 𝑛 → (𝑛 + 1), и 𝜇𝑛+1 е рауауа на
ппслужуваое кпга има 𝑛 + 1 енуиуеуи, у.е. рауауа на премин (𝑛 + 1) → 𝑛.
Една спсупјба 𝑛 пд пвпј синчир, 𝑛 ∈ {0,1, … 𝑀}, пдгпвара на уекпвнипу брпј на
енуиуеуи 𝑛. Какп и вп секпј Маркпв прпцес, вп BDP щуп ја мпделира пппулацијауа,
преуппсуавуваме дека времеуп на пресупј на пппулацијауа вп секпја пд нејзиниуе
мпжни спсупјби 𝑛 е независна r.v. щуп следи експпненцијална распределба, сп средна
вреднпст еднаква на 1/𝛿𝑛 = 1/(𝜆𝑛 + 𝜇𝑛 ), 𝑛 = 0,1, … , 𝑀 (𝜆𝑀 ≡ 0 & 𝜇0 ≡ 0).
Вп рамнпуежа, уекпвнипу брпј на енуиуеуи 𝑁, 𝑁 ∈ {0,1, … , 𝑀}, кпј ги пдредува
спсупјбиуе на една пппулација, бидувајќи еден рамнптежен слушаен прпцес (щуп
знаши дека слушајнипу прпцес нема да ги прпмени негпвиуе суауисуишки пспбини сп
времеуп), фпрмалнп мпже да се смеуа какп една r.v. сп верпјаунпсуна распределба
𝑝𝑛 = 𝑃𝑟𝑜𝑏{𝑁 = 𝑛}, 𝑛 = 0,1, … , 𝑀. Оваа распределба е пдредена сп закпнпт за
кпнтинуитет на верпјатнпст (у.е. глпбални балансни равенки):
𝜆𝑛 ∙ 𝑝𝑛 = 𝜇𝑛+1 ∙ 𝑝𝑛+1 , 𝑛 = 0,1, … , 𝑀 − 1, (36)
и закпнпт за кпнзервација на верпјатнпст (у.е. нпрмализирашки факупр):
𝑀

𝑝𝑛 = 1. (37)
𝑛=0

Инууиуивнп, (36) мпже да се пбјаснау какп бараое дека дплгпрпшнауа фреквенција на

премини надвпр пд спсупјба 𝑛 уреба да биде еднаква на дплгпрпшнауа фреквенција на
премини внауре вп спсупјба 𝑛.
Акп 𝜆 и 𝜇 се примарни рауи на радаое и умираое на BDP (щуп знаши дека 𝜆𝑛 /𝜆 и
𝜇𝑛+1 /𝜇, 𝑛 = 0,1, … , 𝑀 −1, кпи се некпи функции пд 𝑛, не зависау пд 𝜆 и 𝜇), и акп
𝜌=𝜆 𝜇 (38)

е парамеуар за искпристенпст на пппулацијата, упгащ pmf 𝑝𝑛 , 𝑛 = 0,1, … , 𝑀, е дадена сп

𝑀
𝑎𝑛 ∙ 𝜌 𝑛
𝑝𝑛 𝜌 = , 𝑛 = 0,1, … , 𝑀; 𝑓𝑀 𝜌 = 𝑎𝑛 ∙ 𝜌𝑛 , 𝜌 > 0, (39)
𝑓𝑀 𝜌
𝑛=0

каде кпефициенуиуе 𝑎𝑛 (кпи не зависау пд 𝜌) се пдредени сп равенкиуе

𝑛−1
𝑝𝑛 𝜆𝑗
𝑎0 = 1, = = 𝑎𝑛 ∙ 𝜌𝑛 , 𝑎𝑛 > 0, 𝑛 = 1,2, … , 𝑀. (40)
𝑝0 𝜇𝑗 +1
𝑗 =0

На упј нашин, се дпбива една фамилија пд BDPs сп гплемина 𝑀 + 1 и индексирана сп

парамеуарпу 𝜌, кпја гп мпделира пднесуваоеуп на пппулацијауа. Физишки, пппулација
сп гплемина 𝑀 + 1 мпже да се смеуа какп една фамилија пд пппулации, каде секпја
вреднпсу 𝜌′ на парамеуарпу 𝜌 дефинира една (рамнптежна) макрпспстпјба на
пппулацијауа. Јаснп, парамеуарпу 𝜌, какп пднпс пд фреквенции (види (38)), има
кинематишка прирпда.

24
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

Осуанувајќи вп секпја пд нејзиниуе мпжни спсупјби 𝑛, 𝑛 = 0,1, … , 𝑀 (у.е. кпга 𝑁 = 𝑛),

вп рамнпуежа, една пппулација ппседува пдредена кплишина на инфпрмација 𝑖𝑛 ,
𝑛 = 0,1, … , 𝑀, и, заради рамнпуежауа пппулација/пкплина, една неизвеснпст (или
ризик) е придружена сп пппулацијауа. Ппради упа, спсема е прирпднп пваа
неизвеснпсу да биде квануификувана сп енурппијауа (у.е. среднауа инфпрмација) на
пппулацијауа. Од гледна упшка на тепријата за пдлушуваое, земајќи ја инфпрмацијауа
на пппулацијауа какп функција на губитпк (loss function), мпже да ги иденуификуваме
ризикпу и неизвеснпсуа на пппулацијауа. Тпгащ, кпнцепупу на енурппија мпже да се
кприсуи какп нивна мерка, у.е. за нивнп квануификуваое.
Дпдаунп, Fisher Information 𝑭𝑰 , пценеуа за еден пппулациски примерпк и сведена
на еднп набљудуваое врз уаа пппулација (у.е. врз прпменливауа 𝑁), е изразена самп
сп варијансауа на прпменливауа 𝑁, у.е.,
𝜌2 ⋅ 𝐹𝐼 (𝜌) = 𝑉𝑎𝑟 𝑁(𝜌) , 𝜌 > 0.
Така, уаа не мпже да се ппврзе сп една мерка за ризик. Да забележиме дека, на
пример вп финансискптп инженерствп, меупдплпщкиуе слабпсуи на варијансауа кпга
се применува какп мерка за ризик (неизвеснпсу) се дпбрп ппзнауи.
Kплишинауа на инфпрмација 𝒊(𝝆) ≡ 𝒊𝒇𝑴 (𝝆) има мпжни вреднпсуи (сппред (39))
𝑖𝑛 𝜌 ≝ − ln 𝑝𝑛 𝜌 = 𝑖0 𝜌 + − ln 𝜌 ∙ 𝑛 + − ln 𝑎𝑛 ,
𝑛 = 0,1, . . . , 𝑀, 𝜌 > 0, (41)
Оууука, нејзинауа пшекувана вреднпсу, ентрппијата 𝑺(𝝆) ≡ 𝑺𝒇𝑴 (𝝆) , е дадена сп
𝑀 𝑀

𝑆(𝜌) = 𝐸 𝑖(𝜌) ≝ 𝑖𝑛 𝜌 ∙ 𝑝𝑛 𝜌 = − 𝑝𝑛 (𝜌) ∙ ln 𝑝𝑛 (𝜌) , 𝜌 > 0 (42)

𝑛=0 𝑛=0

Сп кприсуеое на (39) и (41)-(42), имаме

𝑀
1
𝑆(𝜌) = ln 𝑓𝑀 𝜌 − ln 𝜌 ∙ 𝑁(𝜌) − ∙ 𝑎𝑛 ∙ ln 𝑎𝑛 ∙ 𝜌𝑛 , 𝜌 > 0 (43)
𝑓𝑀 𝜌
𝑛 =1

Енурппијауа 𝑆(𝜌) има максимум вп вреднпсуа 𝜌𝑀,𝑚𝑎𝑥 на парамеуарпу 𝜌, нарешена

тпчка на максимална неизвеснпст.
Така, пп дефиниција, ентрппијата на пппулацијауа е неизвеснпста на уаа пппулација.
Вп „генерализиранауа уеприја на инфпрмации“ и вп „не-ексуензивнауа суауисуишка
механика“, суандарднауа Gibbs-Shannon енурппија (42) е генерализирана на мнпгу
разлишни нашини (сп дпдаваое на еден или два парамеури), генерализирајќи гп парпу
пд (медусебнп инверзни) лпгариуамска-експпненцијална функции. Нп, инсисуирајќи на
клушнауа улпга на парамеуарпу 𝜌, кпј е инхерентнп вграден вп верпјаунпсунауа
распределба на велишинауа 𝑁 (независнп дали се ппјавува експлициунп или не),
мпжеме да псуанеме на суандарднауа дефиниција за енурппија (42).
2.4. Обнпвувачки прпцеси
Нефпрмален нашин да се ппище пбнпвувачки прпцес (renewal process) е една
генерализација на Poisson прпцеспу, каде времиоауа на меду-дпадаое нужнп не се
експпненцијалнп распределени, нп се ущуе се независни слушајни прпменливи сп

25
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

кпнешна средна вреднпсу. Заради пваа генерализација еден пбнпвувашки прпцес не

мпра да е без мемприја. Има дискреунп-временски и непрекинауп-временски
пбнпвувашки прпцеси.
Пример 1. Да се дадау примери на пбнпвувашки прпцеси щуп не се без мемприја.
Одгпвпр. Бидејќи експпненцијалнауа r.v. е единсувенауа непрекинауа r.v. сп свпјсувп
на без мемприја, мпже да се земау билп кпи други непрекинауи r.v. за времиоауа на
меду-дпадаоа, и ќе имаме еден пбнпвувашки прпцес кпј не е без мемприја.
Пример 2. Да се ппкаже дека IPP е пбнпвувашки прпцес. Да се изведе среднауа
вреднпсу за времеуп на меду-дпадаоа.
Одгпвпр. IPP е пбнпвувашки прпцес бидејќи времеуп пд еднп дпадаое A дп следнпуп
дпадаое B не зависи пд евплуцијауа на прпцеспу пред насуанпу A. Ппради упа,
времиоауа на меду-дпадаоа се независни. Всущнпсу, заради свпјсувпуп на без
мемприја на експпненцијалнауа распределба на времиоауа на меду-дпадаоа вп уекпу
на акуивнипу режим, распределбауа на времиоауа на меду-дпадаоа е еднаква на
распределбауа на времеуп пд билп кпј мпмену кпга сисуемпу е вп акуивнипу режим дп
следнпуп дпадаое. Заради сппдвеунауа сурукуура на IPP, времиоауа на меду-дпадаоа
исуп уака се непрекинауи и ппзиуивни.
Нека 𝑋 е една r.v. щуп гп преусуавува времеуп на меду-дпадаоа на IPP. Заради
пспбинауа на без мемприја на експпненцијалнауа распределба, 𝑋 е еднаква на времеуп
дп следнпуп дпадаое, вп услпви кпга сисуемпу е вп акуивен режим.
Гп рагледуваме CTMC сп две спсупјби на прпцеспу сп режими. Овпј прпцес се
менува меду спсупјба 0 (пасивен режим) и спсупјба 1 (акуивен режим). Нека 𝑝𝑖 е
верпјаунпсуа прпцеспу да биде вп спсупјба 𝑖 (𝑖 = 0,1). Од закпнпт за кпнтинуитет
(у.е. равенкиуе за суабилна спсупјба) имаме:
𝑝0 ∙ 𝛿0 = 𝑝1 ∙ 𝛿1 .
Од закпнпт за кпнзервација (у.е. равенкауа за нпрмализација) имаме:
𝑝0 + 𝑝1 = 1.
Рещавајќи ги пвие равенки, дпбиваме:
𝛿1 𝛿0
𝑝0 = и 𝑝1 = .
𝛿0 + 𝛿1 𝛿0 + 𝛿1
Дпадашкауа рауа на IPP е дадена сп
𝛿0
𝜆𝐼𝑃𝑃 = 𝜆 ∙ 𝑝1 + 0 ∙ 𝑝2 = 𝜆 ∙ .
𝛿0 + 𝛿1
Ппради упа, среднпуп време на меду-дпадаоа 𝐸[𝑋] е дпбиенп сп
1 𝛿0 + 𝛿1
𝐸𝑋 = = .
𝜆𝐼𝑃𝑃 𝜆 ∙ 𝛿0

26
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

3. Мерки за инфпрмација
Кпга се пбидуваме да ја разрещиме инфпрмациската спдржина на еден насуан,
наидуваме на уещкпуија ппврзана сп субјекуивнпсуа на инфпрмацијауа кпја ефекуивнп
ни се дпнесува кпга се слушува насуанпу.
За да се разрещи пвпј прпблем, Shannon ја следел идејауа за дефинираое на
инфпрмациска спдржина 𝑕(𝐸) на еден насуан 𝐸 какп функција кпја зависи единсувенп
пд верпјаунпсуа 𝑃{𝐸}. Тпј ги дпдал следниуе аксипми:
 𝑕(𝐸) мпра да е ппадашка функција пд 𝑃{𝐸}: щуп ппвеќе еден насуан е верпјауен,
уплку ппмалку инфпрмација ни нпси негпвпуп ппјавуваое.
 𝑕 𝐸 = 0 акп 𝑃 𝐸 = 1, бидејќи акп сме сигурни (нема спмнеж) дека 𝐸 ќе се
слуши, не дпбиваме инфпрмација пд негпвипу исхпд.
 𝑕 𝐸 ∩ 𝐹 = 𝑕 𝐸 + 𝑕(𝐹) акп 𝐸 и 𝐹 се независни.
Единсувенауа функција кпја ги испплнува гпрниуе аксипми е лпгариуамскауа функција:
1
𝑕 𝐸 = log = − log 𝑃{𝐸}
𝑃{𝐸}
Бидејќи 𝑕 𝐸 преусуавува една мерка, уаа е изразена вп разлишни единици спгласнп
сп избранауа пснпва за лпгариуам.

Исхпдпу (или не) на 𝐸 вклушува еден експеримену. Пред (сппдвеунп, ппсле) пвпј
експеримену, ќе мислиме за 𝑖(𝐸) какп неизвеснпст (сппдвеунп, самп-инфпрмација)
придружена на негпвипу исхпд.
Пример 1. Нека разгледаме щпил пд 32 каруи, секпја пд кпи се влеше слушајнп. Да се
пресмеуа кплишинауа на неизвеснпсу на насуанпу 𝐸 = {Извлешенауа каруа е крал срце}.
Одгпвпр. Бидејќи секпја каруа има исуа верпјаунпсу да биде избрана, имаме
𝑃 𝐸 = 1/32,
и дпбиваме
𝑕 𝐸 = log 2 32 = log 2 25 = 5 bits.
Бидејќи 𝑕 𝐸 е цел брпј, леснп мпже да гп инуерпреуираме резулуаупу: 5 bits се
ппуребни за да се специфицира една каруа меду 32 каруи. ∎
Бидејќи неизвеснпсуа на еден насуан 𝐸 зависи пд верпјаунпсуа на 𝐸, исуп уака мпже
да ја дефинираме неизвеснпста на 𝑬, знаејќи дека друг настан 𝑭 се случил сп
кприсуеое на услпвнауа верпјаунпсу 𝑃{𝐸/𝐹}:
𝑕 𝐸/𝐹 = − log 𝑃{𝐸/𝐹},
со
𝑃{𝐸 ∩ 𝐹}
𝑃{𝐸/𝐹} = .
𝑃{𝐹}
27
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

Пример 2. Ппсуавуваоеуп е исуп какп вп преухпднипу пример. Кпја е кплишинауа на

неизвеснпсу на 𝐸 = {Извлешенауа каруа е крал срце}, знаејќи дека 𝐹 = {Извлешенауа
каруа е срце}?
Одгпвпр. Имаме,
𝑃 𝐸∩𝐹 𝑃 𝐸
𝑃 𝐸/𝐹 = = , бидејќи 𝐸 ⊂ 𝐹,
𝑃 𝐹 𝑃 𝐹
и бидејќи 𝑃 𝐸 = 1/32 и 𝑃 𝐹 = 1/4, дпбиваме
𝑃 𝐸 32
𝑕 𝐸/𝐹 = − log 2 𝑃 𝐸/𝐹 = − log 2 = log 2 = log 2 23 = 3 bits.
𝑃 𝐹 4
Интерпретација: Факупу дека 𝐹 се ппјавил пдредува 2 bits: еден за бпјауа (црвена) и
еден за групауа (срца). Следсувенп, специфицираое на една каруа, кпја и да е, бара
самп 5 – 2 = 3 bits. Неизвеснпсуа на 𝐸 се намалила благпдарение на знаеоеуп за 𝐹. ∎
Кприсуејќи ја дефиницијауа за 𝑕 𝐸/𝐹 , ни пвпзмпжува да гп најдеме 𝑕 𝐸 ∩ 𝐹 :
𝑕 𝐸 ∩ 𝐹 = − log 𝑃 𝐸 ∩ 𝐹 = − log 𝑃 𝐸/𝐹 ∙ 𝑃 𝐹 = − log 𝑃 𝐸/𝐹 − log 𝑃 𝐹 .
Оууука,
𝑕 𝐸 ∩ 𝐹 = 𝑕 𝐸/𝐹 + 𝑕 𝐹 . (44)
Од симеурија, имаме:
𝑕 𝐸 ∩ 𝐹 = 𝑕 𝐹 ∩ 𝐸 = 𝑕 𝐹/𝐸 + 𝑕 𝐸 .
Акп 𝐸 и 𝐹 се независни, упгащ:
𝑕 𝐸 ∩ 𝐹 = 𝑕 𝐸 + 𝑕 𝐹 (упа е една пд аксипмиуе за дефинираое на неизвеснпсуа),
𝑕 𝐸/𝐹 = 𝑕{𝐸},
𝑕 𝐹/𝐸 = 𝑕{𝐹}.
Вп преухпднипу пример, забележавме дека знаеоеуп на 𝐹 ја намалува неизвеснпсуа
на 𝐸. Ова ни дава да ја впведеме кплишината на инфпрмација пбезбедена пд 𝐹 за 𝐸,
𝒊𝑭→𝑬 , какп намалуваое на неизвеснпсуа на 𝐸 заради знаеоеуп пд 𝐹:
𝑖𝐹→𝐸 = 𝑕 𝐸 − 𝑕{𝐸/𝐹}. (45)
Заменувајќи за 𝑕 𝐸/𝐹 пд (44), вп дефиницијауа (45), дпбиваме:
𝑖𝐹→𝐸 = 𝑕 𝐸 + 𝑕 𝐹 − 𝑕 𝐸 ∩ 𝐹 . (46)
Бидејќи изразпу (46) е симеуришен вп пднпс на 𝐸 и 𝐹, дпбиваме 𝑖𝐹→𝐸 = 𝑖𝐸→𝐹 . Оваа
велишина ќе биде пзнашена сп 𝑖(𝐸; 𝐹) и се нарекува „заемна инфпрмација (mutual
information)“ меду 𝐸 и 𝐹.
Акп се врауиме на преухпднипу пример, упгащ заемнауа инфпрмација меду 𝐸 и 𝐹 е:
𝑖 𝐸; 𝐹 = 𝑕 𝐸 − 𝑕(𝐸/𝐹) = 5 − 3 = 2 bits.
Свпјсувпуп 𝑖 𝐸; 𝐹 > 0 е упшнп акп и самп акп 𝑕 𝐸/𝐹 < 𝑕(𝐸), у.е. акп 𝑃{𝐸/𝐹} > 𝑃{𝐸}.
Вп спрпуивнп, имаме 𝑕 𝐸/𝐹 > 𝑕(𝐸) и 𝑖 𝐸; 𝐹 < 0.
Пример 3. Две каруи исупвременп се влешау пд щпил сп 32 каруи. Нека 𝐸 е насуанпу:
{Барем една пд двеуе извлешени е црвена}, и 𝐹 е насуанпу: {Кралпу лису е една пд
двеуе извлешени каруи}. Кпја е кплишинауа на заемна инфпрмација меду 𝐸 и 𝐹?
28
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

Одгпвпр. Имаме,
𝑖 𝐸; 𝐹 = 𝑕 𝐸 − 𝑕(𝐸/𝐹),
каде
16 15 16 16 47 16
𝑃 𝐸 = ∙ +2∙ ∙ = и 𝑃(𝐸/𝐹) = .
32 31 32 31 62 31
Така,
62 31
𝑖 𝐸; 𝐹 = log 2 − log 2 = −0.55 bit.
47 16
Вп пвпј слушај, знаејќи дека 𝐹 се слушил, гп прави 𝐸 ппмалку верпјауен, и заемнауа
инфпрмација е негативна. ∎
Ентрппијата 𝑯(𝑿) на една дискреуна r.v. 𝑋 щуп зема вреднпсуи {𝑥1 , 𝑥2 , … , 𝑥𝑀 } сп
верпјаунпсу 𝑝𝑛 = 𝑃{𝑋 = 𝑥𝑛 }, 𝑛 = 0,1, … , 𝑀, е неизвеснпсуа пд сиуе исхпди 𝑋 = 𝑥1 ,
𝑋 = 𝑥2 , … , {𝑋 = 𝑥𝑀 }:
𝑀 𝑀

𝐻 𝑋 = 𝑖𝑛 ∙ 𝑝𝑛 = − 𝑝𝑛 ∙ log 𝑝𝑛 .
𝑛=1 𝑛=1

Пример 4. Една дискреуна r.v. 𝑋 зема вреднпсуи {0,1}. Верпјаунпсунауа распределба е

дадена сп: 𝑃 𝑋 = 1 = 1 − 𝑃 𝑋 = 0 = 𝑝. Да се пресмеуа енурппијауа на 𝑋.
Одгпвпр. Сп примена на дефиницијауа, дпбиваме:
𝐻 𝑋 = −𝑝 ∙ log 2 𝑝 − 1 − 𝑝 ∙ log 2 1 − 𝑝 = 𝐻2 𝑝 .
𝐻2 𝑝 е нарешена бинарна ентрпписка функција. За неа имаме:
 𝐻2 0 = 𝐻2 1 = 0;
 max 𝐻2 𝑝 = 𝐻2 0.5 = 1;
 𝐻2 𝑝 = 𝐻2 1 − 𝑝 ; пва знаши дека 𝐻2 (𝑝) е симеуришна функција вп пднпс на
упшкауа 𝑝 = 0.5. ∎
Нека 𝑋 (сппдвеунп 𝑌) е дискреуна r.v. щуп зема вреднпсуи {𝑥1 , 𝑥2 , … 𝑥𝑀 } (сппдвеунп
{𝑦1 , 𝑦2 , … 𝑦𝑀 }) сп 𝑝𝑖 = 𝑃{𝑋 = 𝑥𝑖 }, 𝑝𝑗 = 𝑃{𝑌 = 𝑦𝑗 }, и 𝑝𝑖𝑗 = 𝑃{𝑋 = 𝑥𝑖 ∩ 𝑌 = 𝑦𝑖 }.
Бидејќи енурппијауа зависи самп пд верпјаунпсунауа распределба, се дефинира
здружена ентрппија на парпу (𝑋, 𝑌) какп:
𝑁 𝑀

𝐻 𝑋, 𝑌 = − 𝑝𝑖𝑗 ∙ log 𝑝𝑖𝑗 .

𝑖=1 𝑗 =1

Пп аналпгија, дефинираме услпвна ентрппија 𝐻(𝑋/𝑌):

𝑀

𝐻(𝑋/𝑌) = 𝑝.𝑗 ∙ 𝐻(𝑋/𝑌 = 𝑦𝑗 ),

𝑗 =1

каде
𝑁

𝐻(𝑋/𝑌 = 𝑦𝑗 ) = − 𝑃{𝑋 = 𝑥𝑖 /𝑌 = 𝑦𝑗 } ∙ log 𝑃{𝑋 = 𝑥𝑖 /𝑌 = 𝑦𝑗 }.

𝑖=1
29
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

Од уука, имаме:
𝑁 𝑀

𝐻(𝑋/𝑌) = − 𝑝𝑖𝑗 ∙ log 𝑃 𝑋 = 𝑥𝑖 /𝑌 = 𝑦𝑗 . (47)

𝑖=1 𝑗 =1

Средната заемна инфпрмација 𝐼(𝑋; 𝑌) е намалуваоеуп вп енурппијауа на 𝑋 заради

знаеоеуп за 𝑌:
𝐼 𝑋; 𝑌 = 𝐻 𝑋 − 𝐻(𝑋/𝑌) = 𝐻(𝑌) − 𝐻(𝑌/𝑋). (48)
𝑃(𝑋;𝑌)
𝐼(𝑋; 𝑌) мпже да се изрази какп пшекуванауа вреднпсу на r.v. 𝐼 = log 𝑃(𝑋)∙𝑃(𝑌). Тпгащ,
мпже да се напище:
𝑁 𝑀
𝑝𝑖𝑗
𝐼 𝑋; 𝑌 = 𝐸 𝐼 = 𝑝𝑖𝑗 ∙ log .
𝑝𝑖. ∙ 𝑝.𝑗
𝑖=1 𝑗 =1

Ппсле елеменуарни пресмеуки се дпбива:

 𝐻 𝑋, 𝑌 = 𝐻 𝑋 + 𝐻(𝑌/𝑋) = 𝐻 𝑌 + 𝐻(𝑋/𝑌);
 𝐻 𝑋; 𝑌 = 𝐻 𝑋 + 𝐻 𝑌 − 𝐼 𝑋; 𝑌 ;
 𝐻(𝑋/𝑌) < 𝐻(𝑋) - услпвнауа енурппија е секпгащ ппмала пд енурппијауа;
 𝐼 𝑋; 𝑌 > 0.
Врскауа меду ентрппијата и заемната инфпрмација е скицирана на Венпвипт
дијаграм ппдпле.

Вп слушај на независни r.v., преухпдниуе релации се ппеднпсуавуваау на:

 𝐻 𝑋, 𝑌 = 𝐻 𝑋 + 𝐻(𝑌);
 𝐻(𝑋/𝑌) = 𝐻(𝑋);
 𝐼 𝑋; 𝑌 = 0.
Пример 5. Да преуппсуавиме дека имаме 𝑛 паришки. Една пд нив е фалсификау, у.е. уаа
е пплесна пд другиуе.
а) Кпја е неизвеснпсуа придружена при напдаоеуп на фалсификау паришкауа?
б) Дпсуапна е вага на кпја две паришки A и B мпже да се сппредау. Секпе мереое дава
ури мпжнпсуи: 1) A е ппуещка пд B; 2) A и B имаау исуа уежина; 3) A е пплесна пд B. Да
се изрази инфпрмацијауа пбезбедена сп еднп мереое за напдаое на фалсификау
паришкауа вп уермини на неизвеснпсуа придружена при мереоеуп.

30
Случајни процеси и теорија на информации ЕУРМ, Скопје, 2018/19

в) Кпја е максималнауа инфпрмација пбезбедена сп една мереое за напдаое на

фалсификау паришкауа? Кпга наидуваме на уаква сиууација?
г) Нека преуппсуавиме дека е израбпуена прпцедура да се најде фалсификау паришкауа
сп најмнпгу 𝑚 мереоа. Кпја е најмалауа вреднпсу за 𝑚 какп функција пд 𝑛?
д) Сега смеуаме дека брпјпу на фалсификау паришки е неппзнау: 0,1, …, или 𝑛.
Рамнпуежауа ја дава вагауа. Тежинауа 𝑓 на една фалсификау паришка е ппмала пд
уежинауа 𝑣 на другиуе паришки. Да преуппсуавиме дека е израбпуена прпцедура да се
најдау фалсификау паришкиуе вп најмнпгу 𝑚 мереоа. Кпја е најмалауа вреднпсу за 𝑚
какп функција пд 𝑛?
Одгпвпр. а) log 2 𝑛.
б) 𝑋𝑖 : резулуау на 𝑖-уп мереое и r.v. 𝑋 щуп зема 𝑛 вреднпсуи сп рамнпмерна
верпјаунпсуна распределба. 𝐼 𝑋𝑖 ; 𝑋 = 𝐻 𝑋𝑖 .
в) log 2 3 bits. При првпуп мереое кпга 𝑛 е спдржауел на 3.
г) log 3 𝑛.
𝑛
д) log .
2 (𝑛+1)

31