KAPITULLI I

BURIMET DISKRETE

1.1 Shpejtësia e transmetimit të impulseve dhe shenjave në linjë

Linjën e transmetimit le ta modelojmë me anën e një katërpolari me R, C si në figurën 1.2 a. Në

qoftë se kohëzgjatja e impulseve (0 dhe 1) është më e vogël se konstantja e kohës 𝜏 = 𝑅 ∙ 𝐶, në
skajin marrës nuk është më e mundur të njihet sinjali i transmetuar.(fig. 1.2 b.)

V1 V1

t t
V1 C V2
V2 V2

t t

-a- -b-

Në këtë mënyrë, shpejtësia Vi e transmetimit të impulseve është e kufizuar. Ajo jepet nga:
1 𝑖𝑚𝑝
𝑉𝑖𝑚𝑎𝑥 = 𝑟 [ 𝑠𝑒𝑘 ] (1.1)
𝑚𝑖𝑛

ku rmin është kohëzgjatja minimale e impulseve, për të cilën sigurohet njohja e sinjalit.

Le të marrim një burim me alfabet (A, B), i cili transmeton njoftimin ABAABABBA....
Shpejtësia 𝑉𝑥 (shenja/sek) e transmetimit të shenjave varet jo vetem nga shpejtësia 𝑉𝑖 (imp/sek),
por edhe nga numri i niveleve që mund të marrin impulse.
Kur impulset janë me dy nivele (0 dhe 1), secilit nivel i vëmë në korrespondencë njërën nga dy
shenjat: A=0, B=1. Në këtë rast:
𝑠ℎ 𝑠ℎ
𝑉𝑥 [ ] = 𝑉𝑖 [ ] (1.2)
𝑠𝑒𝑘 𝑠𝑒𝑘
Në rastin e impulseve me katër nivele (0; 1; 2 dhe 3), secilës dyshe shenjash i vëmë në
korrespondencë njërin prej niveleve: AA=0; AB=1; BA=2 dhe BB=3. Si rrjedhim, do të kemi:

𝑠ℎ 𝑠ℎ
𝑉𝑥 [ ] = 2 ∙ 𝑉𝑖 [ ] (1.3)
𝑠𝑒𝑘 𝑠𝑒𝑘

1
Arrijmë në përfundimin se me rritjen e numrit të niveleve të simboleve koduese, rritet shpejtësia
e transmetimit të gërmave.

1.2 Kodimi i njoftimeve diskrete

Me kodim nënkuptohet paraqitja e n shenjave ose grupshenjave të ndryshme, të dhëna nga

burimi, nëpërmjet një vargu me simbole koduese. Në figurën 1.3 paraqitet kodi binar i katër
shenjave. Vargjet me simbole koduese quhen fjalë koduese, të cilat mund të kenë gjatësi
konstante (fig. 1.3 a) ose gjatësi jokonstante (fig. 1.3 b).

𝐴 → 00 𝐴→1
𝐵 → 01 𝐵 → 01
𝐶 → 10 𝐶 → 001
𝐷 → 11 𝐷 → 000
-a- -b-
Fig. 1.3 a,b

Fjalët koduese duhet të jenë të ndryshme nga njëra-tjetra. Në rastin e fjalëve koduese me gjatësi
jokonstante duhet qe fjalët e shkurtra të mos jenë të njëjta me pjesën e fillimit të fjalëve më të
gjata. Kode të tilla quhen të deshifrueshme.

1.3 Përshkrimi statistikor i burimeve

Për të pasur shpenzime minimale në transmetimin e njoftimeve është e nevojshme të njihen disa
të dhëna statistikore të vetë njoftimeve. Le të marrim burimin me alfabet (A, B, C, D) dhe një
njoftim tipik të tij ABCADBACD...
Analiza e rendit të parë. Nga njoftimi i dhënë shihet se shenjat shfaqen jo me të njëjtën
shpeshtësi (probabilitet). Supozojmë se probabilitetet e shfaqjes janë: P(A) = 0,6; P(B) = 0,2;
P(C) = 0,1; P(D) = 0,1. Po të përdorim kodin binar me gjatësi konstante,
𝑙 = 2 (𝑠𝑖𝑚𝑏𝑜𝑙𝑒 𝑘𝑜𝑑𝑢𝑒𝑠𝑒/𝑠ℎ𝑒𝑛𝑗ë) (fig. 1.3 a), koha T e transmetimit të një shenje do të jetë
𝑇 = 2 ∙ 𝜏.
Megjithatë, intuita thotë që shenjës më të shpeshtë t`i vëmë në korrespondencë fjalën koduese
më të shkurtër. Fitohet në këtë mënyrë kodi i figurës 1.3 b. Në këtë rast gjatesia mesatare (lmes) e
fjalës koduese është:

`
𝑠𝑒𝑘
𝑙𝑚𝑒𝑠 = ∑ 𝑙𝑘 ∙ 𝑝(𝑘) = 1.7 [ ] (1.4)
𝑠ℎ𝑒𝑛𝑗ë
𝑘

ku k = A, B, C, D.

2
Pra, duke marrë parasysh vetitë statistikore të burimit, fitohet një kod me gjatësi mesatare më të
vogël. Koha 𝜏 del 𝑇 = 1,7 𝑠.
Analiza e rendit të dytë. Le të marrim të gjitha dyshet e ndryshme AA, AB, BA etj. Që
formohen me shenjat e alfabetit. Supozojmë se njihen probabilitetet e shaqjes së këtyre dysheve.
Duke i vënë në korrespondencë dyshes më të shpeshtë fjalën më të shkurtër, fitohet një kod në të
cilin numri i simboleve koduese për shenjë del:

``
∑𝑘 𝑙𝑘 ∙ 𝑝(𝑘) 𝑠𝑒𝑘
𝑙𝑚𝑒𝑠 = = 1.58 [ ] (1.5)
2 𝑠ℎ𝑒𝑛𝑗ë
ku k=AA, AB, ...

Pra, kodimi me grupe, duke marrë parasysh të dhënat statistikore të burimit jep rezultate më të
mira se kodimi shenjë për shenjë. Problemi i një kodimi sa më të efektshëm përbën thelbin e
teorisë së informacionit.

1.4 Sasia e informacionit, Entropia

Marrja e sasisë së informacionit është e lidhur me ekzistencën e eksperimentit dhe me

ekzistencën e një farë pacaktueshmërie para kryerjes së eksperimentit mbi rezultatin që do të
merret.
Sasia me të cilën zvogëlohet pacaktueshmëria, pasi është kryer eksperimenti, mund të njëjtësohet
me sasinë e informacionit I, të marrë nga eksperimenti.
Pra:
𝐼 = 𝑃𝑝,𝑒 − 𝑃𝑚,𝑒 (1.6)
ku Pp,e dhe Pm,e janë përkatësisht pacaktueshmëria para dhe pas eksperimentit. Në rastin kur
pacaktueshmëria pas eksperimentit zhduket ( Pm,e = 0 ) del :
𝐼 = 𝑃𝑝,𝑒 (1.7)

Ndaj sasisë së informacionit paraqiten tre kërkesa kryesore:

1. Sasia e informacionit të marrë është më e madhe në atë eksperiment ku është më i madh

numri n i rezultateve të ndryshme.

𝐼[𝑛2 ] ≥ 𝐼[𝑛1 ] 𝑛2 ≥ 𝑛1 (1.8)

2. Eksperimenti me një rezultat të vetëm duhet të sjellë medoemos një sasi informacioni të
barabartë me zero.

𝐼[𝑛 = 1] = 0 (1.9)

3. Sasia e informacionit të marrë nga dy eksperimente të pavarura duhet të jetë e barabartë

me shumën e sasisë së informacionit të marrë nga secili prej tyre.

𝐼[𝑛1 , 𝑛2 ] = 𝐼[𝑛1 ] + 𝐼[𝑛2 ] (1.10)

3
I vetmi funksion i argumentit n që kënaq të tre kushtet e mësipërme është funksioni logaritmik.
Pra, sasia e informacionit që merret nga eksperimenti me n rezultate, me kushtin që pas
eksperimentit të mungojë pacaktueshmëria, jepet nga:
𝐼 = 𝑐 ∙ 𝑙𝑜𝑔𝑎 𝑛 (1.11)

ku c dhe a janë konstante arbitrare.

Në përcaktimin e (1.11) ne nuk dalluam rezultatin që shfaqet me probabilitetin më të madh nga
ai me probabilitet më të vogël. Rrjedh që rezultatet e eksperimentit të (1.11) duhet t`i marrim me
1
të njëjtin probabilitet 𝑝 = 𝑛 .

Formula (1.11) merr formën:

𝐼 = −𝑐 ∙ 𝑙𝑜𝑔𝑎 𝑝 (1.12)

Duke marrë a=2 dhe c=1, fitohet:

𝐼 = −𝑙𝑜𝑔2 𝑝 (1.13)

Në këtë rast, njësia e sasisë së informacionit quhet bit. Siç shihet nga (1.13), një bit është sasia e
informacionit që merret nga eksperimenti me dy rezultate me probabilitete të njëjta. Kur
rezultatet xi të eksperimentit shfaqen me probabilitete p(xi) atëherë madhësia 𝑙 𝑖 = − 𝑙𝑜𝑔2 𝑝(𝑥𝑖 )
është një madhësi e rastit.
Mesatarizimi i saj:
𝑛

〈𝐼𝑖 〉 = − ∑ 𝑝(𝑥𝑖 ) ∙ 𝑙𝑜𝑔2 𝑝(𝑥𝑖 ) (1.14)

𝑖=1
përcakton sasinë mesatare të bartur nga një rezultat i çfarëdoshëm 𝑥𝑖 .
Në qoftë se pas eksperimentit mbetet një farë përcaktueshmërie mbi rezultatin, atëherë formula:

𝑏𝑖𝑡
𝐻(𝑥) = − ∑ 𝑝(𝑥𝑖 ) ∙ 𝑙𝑜𝑔2 𝑝(𝑥𝑖 ) [ ] (1.15)
𝑠ℎ𝑒𝑛𝑗ë
𝑖
shpreh sasinë mesatare të pacaktueshmërisë para eksperimentit dhe quhet entropi. Entropia gëzon
këto veti:

1. 𝐻(𝑥) ≥ 0. Shenja e barazimit ka vend kur eksperimenti ka vetëm një rezultat.

2. Për numër n të dhënë të rezultateve, entropia është maksimale dhe e barabartë me 𝑙𝑜𝑔2 𝑛;
atëherë kur të gjitha rezultatet shfaqen me të njëjtin probabilitet (fig. 1.4 për n=2).
Entropia 𝐻(𝑋, 𝑌) e eksperimentit të përbërë, entropi që jep pacaktueshmërinë mesatare
para eksperimentit në shfaqjen e secilës nga rezultatet (xi,xj), jepet nga:

𝐻(𝑋, 𝑌) = − ∑ ∑ 𝑝(𝑥𝑖 , 𝑦𝑗 )𝑙𝑜𝑔2 𝑝(𝑥𝑖 , 𝑦𝑗 )

𝑖 𝑗

4
 H
1

0.5 p
0.5
Fig 1.4

3. 𝐻(𝑋, 𝑌) = 𝐻(𝑌, 𝑋) meqë 𝑝(𝑥𝑖 𝑦𝑗 ) = 𝑝(𝑦𝑗 𝑥𝑖 )

4. 𝐻(𝑋, 𝑌) ≤ 𝐻(𝑋) + 𝐻(𝑌), ku shenja e barazimit ka vend, atëherë kur rezultatet xi e yj
janë të pavarura për të gjitha i dhe j të mundshme.

1.5 Entropia e kushtëzuar. Sasia e informacionit në rastin e përgjithshëm

Pra, pas eksperimentit mund të ekzistojë akoma një farë papërcaktueshmërie mbi rezultatin e
marrë. Le të marrim një sistem komunikimi si në figurën 1.5, në të cilin shenjat e transmetuara i
shënojmë me 𝑋 = (𝑥1 , 𝑥2 , … 𝑥𝑖 … 𝑥𝑛 ) ndërsa ato të marra me 𝑌 = (𝑦1 , 𝑦2 , … 𝑦𝑖 … 𝑦𝑛 ).
Shënojmë me 𝑃(𝑥𝑖 /𝑦𝑗 ) probabilitetin që të jetë transmetuar xi, kur dihet se është marrë yj. Në
mungesë të zhurmave kemi:
0 𝑝ë𝑟 𝑖 ≠ 𝑗
𝑃(𝑥𝑖 /𝑦𝑗 ) = { (1.16)
1 𝑝ë𝑟 𝑖 = 𝑗
Ndërsa ne prani te zhurmave kemi:

0 𝑝ë𝑟 𝑖 ≠ 𝑗
𝑃(𝑥𝑖 /𝑦𝑗 ) ≠ { (1.17)
1 𝑝ë𝑟 𝑖 = 𝑗

Pra, në prani të zhurmave ekziston një farë pacaktueshmërie 𝐻(𝑥𝑖 /𝑦𝑗 ) që të jetë transmetuar xi
kur dimë që është marrë yj:

𝐻(𝑥𝑖 /𝑦𝑗 ) = − log 𝑃(𝑥𝑖 /𝑦𝑗 ) (1.18)

Vështrues
Zhurma

Burimi i Koduesi Linja Dekodues Marrësi i

njoftimeve i njoftimeve

5
 1 1

2 2
1 1
X 3 3 Y

n n

Fig. 1.5

Duke mesatarizuar madhësinë e rastit 𝐻(𝑥𝑖 /𝑦𝑗 ) sipas yj dhe xi marrim:

𝑛 𝑚

𝐻(𝑋/𝑌) = − ∑ ∑ 𝑝(𝑥𝑖 , 𝑦𝑗 )𝑙𝑜𝑔 𝑃(𝑥𝑖 /𝑦𝑗 ) (1.19)

𝑖=1 𝑗=1

Madhësia 𝐻(𝑋/𝑌) është pacaktueshmëria mesatare që të jetë transmetuar X kur është marrë Y
dhe quhet entropia e kushtëzuar.

Në këtë mënyrë gjejmë:

 Pacaktueshmëria para eksperimentit mbi shenjën që do të transmetohet është H(X).

 Pacaktueshmëria pas eksperimentit mbi shenjën që u transmetua është H(X/Y).
Pra, sasia mesatare e informacionit që merret nga një shenjë (e bartur nga një shenja që
merret mbi atë të transmetuar) është:

𝐻(𝑌, 𝑋) = 𝐻(𝑋) − 𝐻(𝑋/𝑌) (1.20)

Janë të vërteta këto shprehje:

𝐻(𝑋, 𝑌) = 𝐻(𝑋) + 𝐻(𝑌/𝑋)

𝐻(𝑌, 𝑋) = 𝐻(𝑌) + 𝐻(𝑋/𝑌)
𝐻(𝑋/𝑌) ≥ 0
{𝐻(𝑌/𝑋) ≥ 0

𝐻(𝑌, 𝑋) ≤ 𝐻(𝑌), ku shenja e barazimit ka vend atëherë kur rezultatet xi dhe yj janë të pavarura
për të gjitha i dhe j të mundshme.

6
𝐻(𝑌, 𝑋) = 𝐻(𝑋, 𝑌), domethënë sasia e informacionit që ndodhet me madhësinë e rastit Y për
madhësinë e rastit X është e barabartë me sasinë e informacionit që ndodhet në madhësinë e
rastit X për atë Y.

𝐻(𝑌, 𝑋) ≥ 0, ku shenja e barazimit ka vend kur rezultatet X e Y janë të pavarura.

Shembull. Nëpërmjet kanalit të ndërlidhjes transmetohet njëri nga njoftimet x1 e x2 me

probabilitete të njëjta. Në dalje të kanalit merren y1 dhe y2. Për shkak të zhurmave, në çdo 100
njoftime merret një i gabuar.Të përcaktohet sasia mesatare e informacionit në një kanal të tillë.
Të krahasohet ajo me sasinë e informacionit në mungesë të zhurmave.

Zgjidhje. Nga të dhënat e ushtrimit, njihen probabilitetet e mëposhtme:

𝑝(𝑥1 ) = 𝑝(𝑥2 ) = 0.5 𝑝(𝑦1 /𝑥2 ) = 𝑝(𝑦2 /𝑥1 ) = 0.01

Në bazë të teoremës së shumëzimit të probabiliteteve gjejmë:

𝑝(𝑥1 𝑦1 ) = 𝑝(𝑥1 ) ∙ [1 − 𝑝(𝑦2 /𝑥1 )] = 0.5 ∙ 0.99 = 0.495

𝑝(𝑥1 𝑦2 ) = 𝑝(𝑥1 ) ∙ 𝑝(𝑦2 /𝑥1 ) = 0.5 ∙ 0.01 = 0.005
𝑝(𝑥2 𝑦1 ) = 𝑝(𝑥2 ) ∙ 𝑝(𝑦1 /𝑥2 ) = 0.5 ∙ 0.01 = 0.005
𝑝(𝑥2 𝑦2 ) = 𝑝(𝑥1 ) ∙ [1 − 𝑝(𝑦1 /𝑥2 )] = 0.5 ∙ 0.99 = 0.495

Nga formulat e probabilitetit të plotë:

2

𝑝(𝑦1 ) = ∑ 𝑝(𝑥1 𝑦1 ) = 𝑝(𝑥1 𝑦1 ) + 𝑝(𝑥2 𝑦1 ) = 0.495 + 0.005 = 0.5

𝑖=1

𝑝(𝑦2 ) = ∑ 𝑝(𝑥1 𝑦2 ) = 𝑝(𝑥1 𝑦2 ) + 𝑝(𝑥2 𝑦2 ) = 0.005 + 0.495 = 0.5

𝑖=1

Në qoftë se nuk ka zhurma, sasia e informacionit është e barabartë me entropinë e sinjaleve të

marra:

𝐻(𝑌/𝑋) = 𝐻(𝑌) = − ∑ 𝑝(𝑦𝑗 ) ∙ 𝑙𝑜𝑔𝑝(𝑦𝑗 ) = 𝑙𝑜𝑔2 = 1 𝑏𝑖𝑡

Për përcaktimin e sasisë së informacionit në rastin kur ekzistojnë zhurmat, njehsojmë entropinë e
kushtëzuar.
2 2

𝐻(𝑌/𝑋) = − ∑ ∑ 𝑝(𝑥𝑖 𝑦𝑖 ) ∙ 𝑙𝑜𝑔𝑝(𝑦𝑗 /𝑥𝑖 ) = 0.081 𝑏𝑖𝑡

𝑖=1 𝑗−1

Në këtë mënyrë, në prani të zhurmave

7
 𝐻(𝑌, 𝑋) = 𝐻(𝑌) − 𝐻(𝑌/𝑋) = 1 − 0.081 = 0.919 𝑏𝑖𝑡

1.6 Burimet ergodike dhe entropia e tyre

Një model mjaft i mirë i burimeve diskrete që takohen në praktikë, si p.sh, tekstet e shkruara
është i ashtuquajturi burimi ergodik. Le të shqyrtojmë njëkohësisht n
burime të njëjta (fig 1.6). Në këtë rast kemi të bëjmë me një bashkësi
njoftimesh apo me një proçes të rastit.
Shënojmë me 𝑛𝐴` , 𝑛𝐵` , … 𝑛𝑍` numrin e burimeve qe në një çast A japin
përkatësisht gërmat A, B, .....Z. Atëherë shprehjet:
` `
𝑛𝐴 𝑛𝐵
𝑝𝐴` = lim ; 𝑝𝐵` = lim ; … . . 𝑝𝑍` =
𝑛→∞ 𝑛 𝑛→∞ 𝑛
𝑛𝑧`
lim (1.21)
𝑛→∞ 𝑛

përcaktojnë probabilitetet që burimi i njoftimeve të japë në një çast t përkatësisht gërmat A, B,

....Z. Në qoftë se këto probabilitete mbeten të pandryshueshme për çdo çast t të kohës themi se
procesi i prodhimit të gërmave nga burimi është një proces i rastit stacionar. Burime të tilla
quhen stacionare. Të njëjtën gjë mund të themi për dyshet e gërmave për fjalët, dyshet e fjalëve
etj.
Probabilitetet e mësipërme quhen mesatare të bashkësisë së njoftimeve. Kjo bashkësi mund të
mendohet si e prodhuar nga një burim i vetëm, i cili vihet në punë n herë, ku n → ∞ dhe çdo
herë prodhon njoftime pambarimisht të gjata.
Le të marrim një burim gjatë një kohe T. Le të jenë prodhuar n gërma. Shënojmë me n’’A, n’’B,
.... n’’Z numrin e gërmave A, B, ....Z të prodhuara nga burimi gjatë kohës T. Atëherë shprehjet:
Fig 1.6
`` ``
𝑛𝐴 𝑛𝐵 𝑛𝑧``
𝑝𝐴`` = lim ; 𝑝𝐵`` = lim ; … . . 𝑝𝑍`` = lim (1.22)
𝑛→∞ 𝑛 𝑛→∞ 𝑛 𝑛→∞ 𝑛

janë përkatësisht probabilitetet e shfaqjes së gërmave A, B, ....Z. Në mënyrë të ngjashme mund të

përkufizojmë probabilitetet e dysheve të gërmave, të fjalëve etj. Limitet e mësipërme quhen
mesatare në kohë të burimit.
Në qoftë se
𝑝𝐴` = 𝑝𝐴`` ; 𝑝𝐵` = 𝑝𝐵`` ; 𝑝𝑍` = 𝑝𝑍`` (1.23)

burimi quhet ergodik.

Burimi ergodik prodhon njoftime në të cilat mesataret e bashkësisë së njoftimeve janë të
barabarta me mesataret në kohë (burimi i fig. 1.6 është stacionar, por jo ergodik).
Një përkufizim tjetër i ngjashëm me të parin është:

8
  Quajmë burim ergodik atë burim, në të cilin probabiliteti i shfaqjes së një gërme apo fjale
varet nga një numër i fundëm gërmash apo fjalësh të mëparshme.
 Quajmë burim ergodik të rendit r atë burim në të cilin probabiliteti i shfaqjes së një
shenje xj varet vetëm nga 𝑟 −𝑡𝑒 e mëparshme, domethënë:

p(xj/xi(1) .....xnp) = p(xj/xi(1)....xp(p)xn(r+1)) (1.24)

Shënojmë se r shenjat e mëparshme përcaktojnë një farë gjendje 𝑆𝑘 , të burimit (k=1,2,...m).

Numri i të gjitha gjendjeve të mundshme të burimit të rendit r, që ka n shenja të ndryshme është
m=nr.

Shprehja
𝑟
𝐻(𝑧) = − ∑𝑛𝑗−1 𝑝(𝑥𝑖 ) ∙ 𝑙𝑜𝑔2 (𝑥𝑖 ) (1.25)

nuk mund të përdoret për njehsimin e entropisë së burimit ergodik për 𝑟 ≥ 1, meqë gjatë marrjes
së këtij relacioni nuk u morrën parasysh lidhjet probabilistike ndërmjet shenjave. Supozojmë se
burimi ndodhet në gjendjen Sk. Ardhja e një shenje xj, me probabilitet 𝑃(𝑥𝑗 /𝑆𝑘 ), e dërgon
burimin në gjendjen Xl. Pacaktueshmëria se në cilën gjendje do të kalojë burimi, pra
pacaktueshmëria se cila shenjë do të prodhohet kur burimi ndodhet në gjendjen Sk, jepet nga
shprehja:
𝐻(𝑆𝑘 ) = − ∑𝑛𝑗=1 𝑝(𝑥𝑗 /𝑆𝑘 ) ∙ 𝑙𝑜𝑔𝑝(𝑥𝑗 /𝑆𝑘 ) (1.26)

Mesatarja e madhësisë së rastit 𝐻(𝑆𝑘 ) përcakton entropinë 𝐻(𝑋) të burimit ergodik.

𝐻(𝑋) = 〈𝐻(𝑆𝑘 )〉 = ∑𝑚
𝑘=1 𝑝(𝑆𝑘 ) ∙ 𝐻(𝑆𝑘 ) (1.27)

ose

𝑛
𝐻(𝑋) = − ∑𝑚
𝑘=1 ∑𝑗=1 𝑝(𝑥𝑗, 𝑆𝑘 ) ∙ log[𝑝(𝑥𝑗 /𝑆𝑘 )] (1.28)

Shembull. Burimi i njoftimeve prodhon tri simbole të ndryshme e 𝑥1 , 𝑥2 , 𝑥3 me probabilitete

përkatëse 0.4; 0.5; 0.1. Probabilitetet e shfaqjes së çifteve janë dhënë në tabelën 1.1. Të
përcaktohet entropia dhe të krahasohet ajo me entropinë e burimit ku mungojnë lidhjet
probabilistike.

xi xj x1x1 x1x2 x1x3 x2x1 x2x2 x2x3 x3x1 x3x2 x3x3

P(xi yj) 0.1 0.2 0.1 0.2 0.3 0 0.1 0 0

Zgjidhje. Entropinë e burimit e gjejmë me anë të formulës:

2 2

𝐻(𝑋) = − ∑ ∑ 𝑝(𝑥𝑖 , 𝑥𝑗 ) ∙ log 𝑝(𝑥𝑖 /𝑥𝑗 )

𝑖=1 𝑗=1

9
Për këtë njehsojmë probabilitetin e kushtëzuar sipas formulës:

𝑝(𝑥𝑖 , 𝑥𝑗 )
𝑝(𝑥𝑖 /𝑥𝑗 ) =
𝑝(𝑥𝑗 )

Përfundimet e njehsimit janë paraqitur në tabelën 1.2

xi / yj x1 / x2 x1 / x2 x1 / x3 x2 / x1 x2 / x2 x2 / x3 x3 / x1 x3 / x 2 x3 / x3
P(xi /yj) 0.25 0.4 1 0.5 0.6 0 0.25 0 0

Duke zëvendësuar në formulën e 𝐻(𝑋), fitohet:

𝐻1 (𝑋) = 1.096 𝑏𝑖𝑡

Entropia e burimit, kur mungojnë lidhjet ndërmjet simboleve, është:

3

𝐻2 (𝑋) = −𝐻(𝑋) = − ∑ 𝑝(𝑥𝑖 ) ∙ log 𝑝(𝑥𝑖 ) = 1.36 𝑏𝑖𝑡

𝑖=1

Entropia e burimit, ku simbolet shfaqen me probabilitet të njëjtë dhe në mënyrë të pavarur nga
njëri-tjetri, është:
𝐻3 (𝑋) = log 3 = 1.58 𝑏𝑖𝑡
Pra, entropia e burimit varet nga karakteristikat e tij probabilistike; entropia është maksimale, në
qoftë se probabilitetet e simboleve janë të njëjta; entropia zvogëlohet kur simbolet paraqiten me
probabilitete të ndryshme; më në fund entropia zvogëlohet edhe më shumë kur ndërmjet
simboleve shfaqen lidhje probabilistike.

1.7 Teprica e informacionit dhe fluksi i informacionit të burimit të njoftimeve

Për krahasimin e burimeve sipas informacionit të tyre, futet parametri tepricë R, që përcaktohet
si mëposhtë:
𝐻𝑚𝑎𝑥 (𝑋) − 𝐻(𝑋)
𝑅= (1.29)
𝐻𝑚𝑎𝑥 (𝑋)

Burimi, teprica e të cilit është 𝑅 = 0, quhet optimal. Të gjitha burimet reale kanë tepricë R ≠ 0.
Supozojmë se sasia e informacionit 𝐼0 merret si nga burimi real dhe nga ai optimal. Atëherë,
numri i simboleve n që duhet të jepen nga burimi real për të transmetuar sasinë e informacionit
𝐼0 , do të jetë më i madh se numri 𝑛𝑚𝑖𝑛 në rastin e burimit optimal.
Me të vërtetë
𝐼0 = 𝑛 ∙ 𝐻(𝑋) = 𝑛𝑚𝑖𝑛 ∙ 𝐻𝑚𝑎𝑥 (𝑋) (1.30)

nga ku
𝐻(𝑋) 𝑛𝑚𝑖𝑛
= ≤1 (1.31)
𝐻𝑚𝑎𝑥 (𝑋) 𝑛

10
dhe
𝑛 − 𝑛𝑚𝑖𝑛
𝑅= (1.32)
𝑛

Nga këto shprehje mund të nxjerrim se teprica rrit kohën e transmetimit. Një karakteristikë tjetër
e burimit të njoftimeve është fluksi i informacionit (shpejtësia e dhënies së informacionit). Gjatë
punës së burimit të njoftimeve, njoftimet shfaqen në dalje të tij gjatë një intervali kohe. Në qoftë
se kohëzgjatjen mesatare të një njoftimi e shënojmë me 𝑡𝑚𝑒𝑠 , atëherë fluksi 𝐻 ̅ (𝑋) i informacionit
përcaktohet me shprehjen:
𝐻(𝑋)
̅ (𝑋) =
𝐻 [𝑏𝑖𝑡/𝑠𝑒𝑘] (1.33)
𝑡𝑚𝑒𝑠

Shembull. Duke supozuar se sasia mesatare e informacionit e bartur nga një gërmë e një teksti
shqip është 3 bit të tregohet se kodi binar me 6 bit nuk është optimal për transmetimin e tekstit
shqip.
Zgjidhje. Entropia maksimale e burimit që përdor për transmetimin e alfabetit shqip kodin me t
bit është 𝐻𝑚𝑎𝑥 = 6 (𝑏𝑖𝑡). Teprica e një paraqitjeje të tillë të njoftimeve të burimit me entropi 3
bit është R=(6-3)/6=0.5. Në këtë mënyrë, gjatë transmetimit të tekstit shqip 50% e njoftimeve të
kodit është i panevojshëm.

Shembull. Burimi prodhon 3 simbole të ndryshme x1, x2, x3 me probabilitete 0.5, 0.3, 0.2. Janë
dhënë kohëzgjatjet e mundshme të simboleve τ1=10 sek, τ2=4 sek, τ3=2 sek.
Të zgjidhen kohëzgjatjet korresponduese të simboleve që jep burimi në mënyrë që fluksi i
informacionit të jetë maksimal.
Zgjidhje.
3

𝐻(𝑋) = − ∑ 𝑝(𝑥𝑖 ) ∙ 𝑙𝑜𝑔𝑝(𝑥𝑖 ) = 1.49 𝑏𝑖𝑡

𝑖=1

Në mënyrë që fluksi i informacionit

𝐻(𝑋) 1.49
̅ (𝑋) =
𝐻 =
𝑡𝑚𝑒𝑠 𝑡𝑚𝑒𝑠

të jetë maksimal duhet që të minimizohet kohëzgjatja mesatare e simbolit

3

𝑡𝑚𝑒𝑠 = ∑ 𝜏𝑖 𝑝(𝑥𝑖 )
𝑖=1

Pra duhet që simbolit që takohet më shpesh ti vëmë kohëzgjatjen më të vogël.

𝑡𝑚𝑒𝑠 = 2 ∙ 0,5 + 4 ∙ 0,3 + 10 ∙ 0,2 = 4,2 𝑠𝑒𝑘

̅𝑚𝑎𝑥 = 0,354 𝑏𝑖𝑡/𝑠𝑒𝑘

Për këtë vlerë të 𝑡𝑚𝑒𝑠 fluksi i informacionit është: 𝐻

11
1.8 Kapaciteti i kanalit binar

Kanali i ndërlidhjes karakterizohet nga probabilitetet e kushtëzuara 𝑝(𝑦𝑗 /𝑥𝑖 ) të cilat mund të
paraqiten nëpërmjet një matrice P (matrica stokastike) me M rreshta dhe N kolona (në përgjithësi
𝑀 ≠ 𝑁).

𝑝11 𝑝12 … 𝑝1𝑁

𝑃 = [𝑝 𝑝𝑀2 𝑝𝑀𝑁 ] (1.35)
𝑀1

Kur matrica stokastike nuk ndryshon me kohën; kanali quhet konstant.

Në rastin e kanalit binar simetrik (fig. 1.7) (kanal me dy simbole koduese 0 dhe 1, të cilat merren
me të njëjtin probabilitet p), matrica P

Z=0 p W=0
1-p 1-p

Z=1 W=1
p

Fig. 1.7

merr formën:

𝑝 1−𝑝
𝑝=[ ]
1−𝑝 𝑝

Një karakteristikë kryesore e kanalit është kapaciteti i tij C, i cili përkufizohet si shpejtësia
maksimale e transmetimit të informacionit.
1
𝐶≜𝜏 ∙ max 𝐻(𝑋, 𝑌) [𝑏𝑖𝑡/𝑠𝑒𝑘] (1.37)
𝑚𝑖𝑛

për kanalin binar

𝐼(𝑋, 𝑌) = 𝐼(𝑌, 𝑋) = 𝐻(𝑌) − 𝐻(𝑌/𝑋) (1.38)

2 2
𝑦𝑗 𝑦𝑗
𝐻(𝑌/𝑋) = − ∑ 𝑝(𝑥𝑖 ) ∑ 𝑝 ( ) ∙ 𝑙𝑜𝑔𝑝 ( ) = −[𝑝𝑙𝑜𝑔𝑝 + (1 − 𝑝) ∙ 𝑙𝑜𝑔(1 − 𝑝)] (1.39)
𝑥𝑖 𝑥𝑖
𝑖=1 𝑗=1
Si rrjedhim:

max{𝐻(𝑋, 𝑌)} = 𝑚𝑎𝑥{𝐻(𝑌) − 𝐻(𝑌/𝑋)}

= 1 + 𝑝𝑙𝑜𝑔𝑝 + (1 − 𝑝) ∙ 𝑙𝑜𝑔(1 − 𝑝) (1.40)

12
Shembull. Në kujtesën e një komjuteri janë memorizuar 106 𝑏𝑖𝑡. Për transmetimin e këtij
informacioni përdoret një linjë simetrike binare. Shpejtësia teknike e transmetimit në linjën
ndërlidhëse është 𝑉 = 500000 𝑏𝑖𝑡/𝑠𝑒𝑘, ndërsa probabiliteti i gabimit është 𝑝𝐺 = 0.0035.
Të gjendet koha minimale e transmetimit të informacionit të memorizuar në kompjuter.

Zgjidhje. Sasia maksimale e informacionit, e bartur nga një simbol binar, i transmetuar në një
linjë simetrike është:

𝐼𝑚𝑎𝑥 = 1 + 𝑝𝐺 ∙ 𝑙𝑜𝑔𝑝𝐺 + (1 − 𝑝𝐺 ) ∙ 𝑙𝑜𝑔(1 − 𝑝𝐺 ) = 0.966 𝑏𝑖𝑡

Si rrjedhim, shpejtësia maksimale e mundshme e transmetimit është:

1
𝐶= ∙ 𝐼𝑚𝑎𝑥 = 𝑉 ∙ 𝐼𝑚𝑎𝑥 = 500000 ∙ 0.966 = 483000 𝑏𝑖𝑡/𝑠𝑒𝑘
𝑟𝑚𝑖𝑛

Koha e kërkuar e transmetimit është:

106
𝑡𝑚𝑖𝑛 = = 2.07 𝑠𝑒𝑘
483000

Në mungesë të zhurmave 𝐼𝑚𝑎𝑥 = 1, 𝐶 = 𝑉 dhe 𝑡𝑚𝑖𝑛 = 2.07 𝑠𝑒𝑘.

1.9 Teorema e parë themelore e Shanonit

Teorema e parë e themelore mbi kodimin, për kanalin pa zhurma, e formuluar nga Shanon thotë
se në qoftë se burimi i njoftimeve ka entropi 𝐻(𝑋) [𝑏𝑖𝑡/𝑠ℎ𝑒𝑛𝑗ë], ndërsa kanali i ndërlidhjes ka
kapacitet 𝐶 [𝑏𝑖𝑡/𝑠𝑒𝑘] atëherë:
1 është gjithnjë e mundur që njoftimet e prodhuara nga burimi të kodohen në mënyrë të tillë
që shpejtësia 𝑉𝑥 e transmetimit të shenjave të jetë sa të duam, afër shpejtësisë maksimale
𝑉𝑚𝑎𝑥 :
𝐶
𝑉𝑥 𝑚𝑎𝑥 = 𝑠ℎ𝑒𝑛𝑗𝑎/𝑠𝑒𝑘 (1.41)
𝐻(𝑋)

2 nuk ekziston asnjë mënyrë kodimi për të cilën 𝑉𝑥 të dalë më e madhe se 𝑉𝑥 𝑚𝑎𝑥 .

Rëndësia e kësaj teoreme qëndron në faktin se jep kuptimin fizik të entropisë së burimit, si numri
minimal i simboleve binare që i takojnë një shenje.
Në qoftë se probabilitetet e njoftimeve nuk janë fuqi të plota negative të 2-shit, arritja e përpiktë
e numrit mesatar minimal të simboleve për shenjë është e pamundur por me anë të kodimit me
grupe mjaft të gjata mund t`i afrohemi sa të duam këtij kufiri.
Sado që teorema nuk tregon një mënyrë konkrete të ndërtimit të kodeve optimal, nga vërtetimi i
saj rrjedh se për arritjen e gjatësisë mesatare minimale të fjalës koduese duhet të synohet që
simbolet koduese të jenë barasprobabël dhe statistikisht të pavarura nga njëri-tjetri. Më poshtë
paraqiten dy mënyra të ndryshme të ndërtimit të kodeve, të cilat lejojnë t`i afrohemi
barasprobabilitetit dhe pavarësisë së simboleve koduese.

13
1.10 Kodet Shanon-Fano dhe Hafman

Kur mungon varësia statistikore ndërmjet shenjave, metoda e ndërtimit të kodeve optimal u dha
për herë të parë nga Shanon-Fano dhe Hafmani. Për formimin e kodit Shanon-Fano, veprojmë si
më poshtë:
 të gjitha shenjat xi të alfabetit i shkruajmë në një tabelë sipas rendit zvogëlues të
probabiliteteve të tyre.
 probabilitetet ndahen në grupe , në menyrë të tillë që shumat e probabiliteteve në çdo
grup të jenë mundësisht të barabarta.
 të gjitha shenjave të grupit të sipërm u vihet në korrespondencë si simbol i parë kodues
simboli 1, ndërsa të gjitha shenjave të poshtme u vihet simboli 0.
 secili nga grupet ndahet në dy grupet ndahet në dy grupe. Procesi përsëritet derisa në
secilin nëngrup të mbetet një shenjë

x1 P(x1) Kodi
x1 0.22 11 II
x2 0.20 101 III
x3 0.16 100 I
x4 0.16 01 IV
x5 0.10 001 V
x6 0.10 0001 VI
x7 0.04 00001 VII
x8 0.02 00000

Fig. 1.9

Shënojmë se ndarja në nëngrupe me probabilitete afërsisht të barabarta mund të mos jetë e

vetme. Si rrjedhojë mund të fitohen kode të ndryshme kode të ndryshme me gjatësi mesatare të
ndryshme. Kjo e metë nuk paraqitet në metodikën e Hafmanit. Ajo siguron ndërtimin e
njëvlershëm të kodit me gjatësi mesatare të fjalës koduese më të vogël për shpërndarjen e dhënë
të probabiliteteve.
Metodika Hafman, për kodimin binar, është si më poshtë:
 shenjat renditen sipas rendit zvogëlues të probabiliteteve
 dy probabilitetet më të vogla i bashkojmë me një kllapë (fig. 1.9 a) njerit prej tyre i vemë
në korrespondencë simbolin kodues 1, ndërsa tjetrit 0.
 dy probabilitetet në fjalë mblidhen; përfundimi vendoset në një pozicion më të afërt duke
ruajtur renditjen; pra formohet një kolonë e dytë e renditur probabilitetesh:
 procesi i bashkimit të probabiliteteve më të vogla vazhdon derisa të mbeten dy
probabilitete më shumë se 1. Kodi për secilën shenjë gjendet duke ndërtuar pemën e kodit
nga pika A, që i përgjigjet probabilitetit 1 (fig 1.9b) nisen dy degë: degës me probabilitet
më të madh i vihet në korrespondencë simboli 1, ndërsa asaj me probabilitet më të ulët
simboli 0; një degëzim i tillë vazhdon derisa të arrihet te probabilitetet e shenjave.

14
 Kodi xi p(xi)
01 X1 0.22
00 X2 0.20 0.26 0.32 0.42 0.58 1
111 X3 0.16 0.22 0.26 0.32 0.42 0
110 X4 0.16 0.20 0.22 0.26
100 X5 0.10 0.16 0.20
1011 X6 0.10 0.10 0.16 0.16
10101 X7 0.04 0.06 0.10
10100 X8 0.02

Fig. 1.9

Duke lëvizur sipas pemës së kodit nga lart-poshtë, mund të shkruhen fjalët koduese për secilën
shenjë

Shembull. Burimi prodhon dy shenja të ndryshme x1 e x2 të pavarura nga njëra-tjetra me

probabilitete 𝑃(𝑥1 ) = 0.9 dhe 𝑃(𝑥2 ) = 0.1.
Të bëhet kodimi sipas metodës Hafman:
a) i shenjave të veçanta
b) i grupeve me nga dy shenja secili
c) i grupeve me nga tri shenja secili
̅ (𝑋) dhe
Të krahasohen kodet sipas gjatësisë mesatare (𝑙𝑚𝑒𝑠 ), sipas shpejtësisë së transmetimit 𝐻
𝐻(𝑥)
sipas tepricës 𝑅𝑘 = 1 − . Kohëzgjatja e simboleve koduese janë të njëjta dhe barazime 𝑟0 =
𝑙𝑚𝑒𝑠
10−6 𝑠𝑒𝑘.

Zgjidhje. Entropia e burimit të njoftimeve është:

𝐻(𝑋) = −0.3 ∙ log 0.3 − 0.1 ∙ 𝑙𝑜𝑔0.1 = 0.169 𝑏𝑖𝑡

a) Kur kodimi bëhet për çdo shenjë të veçantë, shenjës x1 i vihet në korrespondencë simboli
1, ndërsa shenjës x2 simboli 0. Gjatësia mesatare e fjalës koduese është:

15
 𝑙𝑚𝑒𝑠 = 0.91 + 0.1 = 1

Shpejtësia e transmetimit është:

𝐻(𝑋) 0.469
̅ (𝑋) =
𝐻 = = 469000 𝑏𝑖𝑡/𝑠𝑒𝑘
𝑡𝑚𝑒𝑠 10−6
1
që përbën 46.9% të kapacitetit të kanalit 𝐶 = 𝜏 .
0
Teprica e kodit është barazi me tepricën e burimit të njoftimeve:

𝐻𝑚𝑎𝑥 (𝑋) − 𝐻(𝑋) 1 − 0.469

𝑅𝑘 = 𝑅 = = = 0.531
𝐻𝑚𝑎𝑥 (𝑋) 1

b) Për rritjen e efektivitetit të kodit kalojmë në kodimin e grupeve me dy shenja si në

tabelën 1.3

x i xj P(xi yj) Kodi Li

x1x1 0.81 0.81 0.81 1 1
x1x2 0.09 0.1 0.09 00 2
x2x1 0.09 0.09 001 3
x2x2 0.01 010 3

Gjatësia mesatare e fjalës koduese, që i takon një shenje është:

1
𝑙𝑚𝑒𝑠 = ∙ (1 ∙ 0.081 + 2 ∙ 0.09 + 3 ∙ 0.09 + 3 ∙ 0.01 = 0.645
2

Shpejtësia e transmetimit është:

𝐻(𝑋) 𝐻(𝑋) 0.469

̅ (𝑋) =
𝐻 = = = 727000 (𝑏𝑖𝑡/𝑠𝑒𝑘)
𝑡𝑚𝑒𝑠 𝑙𝑚𝑒𝑠 ∙ 𝑟0 0.645 ∙ 10−6

që përbën 72.7% të shpejtësisë maksimale të mundshme të transmetimit.

Për të gjetur tepricën e kodit, njehsojmë probabilitetin e simbolit kodues 0:

0.09 ∙ 2 + 0.09 ∙ 1 + 0.01 ∙ 2

𝑝(0) = = 0.24
0.645 ∙ 2

Entropia e kodit është:

𝐻𝑘 = −0.23 ∙ 𝑙𝑜𝑔0.24 − 0.77 ∙ 𝑙𝑜𝑔0.77 = 0.778 𝑏𝑖𝑡

Teprica është 𝑅𝑘 = 1 − 𝐻𝑘 = 0.222

16
 c) Duke koduar grupet me 3 shenja secili fitohet

1
𝑙𝑚𝑒𝑠 = ∙ ∑ li pi = 0.533
3

Shpejtësia e transmetimit del:

𝐻(𝑋) 0.469
̅ (𝑋) =
𝐻 = = 890000 (𝑏𝑖𝑡/𝑠𝑒𝑘)
𝑙𝑚𝑒𝑠 ∙ 𝑟0 0.533 ∙ 10−6

që përbën 88% të kapacitetit C.

Probabiliteti i shfaqjes së simbolit 0 del:

𝑝(0) = 0.32
𝑝(1) = 1 − 0.32 = 0.68

Entropia dhe teprica e kodit del:

𝐻𝑘 = −0.32 ∙ 𝑙𝑜𝑔0.32 − 0.68 ∙ 𝑙𝑜𝑔0.68 = 0.906

𝑅𝑘 = 1 − 𝐻𝑘 = 0.096

Përfundimet e fituara paraqiten në tabelën 1.4

Madhësia që Numri i shenjave në grup Vlera kufitare e

njehsohet 1 2 3 madhësisë së njehsuar
lmes 1 0.645 0.533 H(X)=0.469
1
H 469000 727000 880000 𝐶= = 1000000
𝑇
p(0) 0.90 0.23 0.32 p(0) = 0.5
p(1) 0.10 0.77 0.68 p(1) = 0.5
Rk % 53.10 22.2 9.6 0

Po të kodohen grupe me apo më shumë shenja, ne i afrohemi ende më shumë vlerave kufitare të
madhësive që njehsohen.

17
1.11 Kanali binar me zhurma, parime të përgjithshme të zbulimit dhe korrigjimit të
gabimeve

Nën veprimin e zhurmave,simbolet koduese 0 e 1 mund të deformohen. Si rrjedhim mund të

merret një fjalë koduese me gabime, e ndryshme nga ajo e transmetuar.
Gabimet quhen të pavarura atëherë kur probabiliteti i shfaqjes së një fjale të gabuar varet shumë
nga numri i simboleve të gabuara r dhe nga probabiliteti 𝑞 = (1 − 𝑝) i marrjes gabim të një
simboli (p është parametri i kanalit binar simetrik). Numri i gabimeve r quhet shumëfish i
gabimit. Probabiliteti i marrjes së një fjale koduese me n bit me gabim r-fish është
𝑃 = 𝑝𝑛−𝑟 ∙ (1 − 𝑝)𝑟 .
Për të zbuluar dhe korrigjuar gabimet, e vetmja mënyrë është futja në secilën fjalë koduese e disa
biteve shtesë sipas një ligji të caktuar L. Në marrje verifikohet vërtetësia e ligjit L. Në qoftë se ai
nuk plotësohet, jemi të sigurt se ka ndodhur gabim.
Meqenëse ligji L është një bashkësi lidhjesh algjebrike, kodet zbuluese dhe korrigjuese të
gabimeve quhen kode algjebrike. Ato ndahen në dy klasa:

1 Kode me blloqe, te të cilat çdo shenje i vihet në korrespondencë një bllok (një fjalë koduese)
me n bit, ku bëjnë pjesë bitet e informacionit dhe bitet shtesë.
2 Kode të vijueshme quhen ato kode në të cilat futja e biteve shtesë në serinë e simboleve të
informacionit kryhet vazhdimisht pa e ndarë atë në blloqe.

Kodet me bit çiftësie. Në këto kode, fjalët koduese përmbajnë një bit shtesë, vlera e të cilit është
0, në qoftë se numri i njësheve është çift dhe 1 në rast të kundërt. Në skajin marrës, në qoftë se
fjala koduese ka numër çift njëshesh do të thotë se kanë ndodhur 0, 2, 4 ... gabime; përndryshe
kanë ndodhur numër tek gabimesh.
Largësia e kodit dhe aftësia korrigjuese e tij. Largësia d ndërmjet dy fjalëve koduese quhet
numri i biteve me të cilët ndryshon njëra fjalë nga tjetra. Largësia është numerikisht e barabartë
me numrin e njësheve në shumën modul 2 (XOR) të dy fjalëve koduese. Për shembull, largësia
ndërmjet fjalës A=010011 dhe B= 00110 është:

010011
╬ 000110
010101 (d=3)

Fjalët koduese me n bit le t’i paraqesim si kulme të një hiperkubi me brinjë një njësi në hapësirën
me n përmasa (fig. 1.10, n=3). Largësia d ndërmjet dy fjalëve koduese jepet nga numri minimal i
brinjëve të hiperkubit që duhen përshkuar për të kaluar nga njëra fjale tek tjetra.

Largësia e kodit 2k fjalë koduese me n bit secila (n ≥ k) quhet largësia minimale ndërmjet (2k/2)
dysheve të ndryshme të fjalëve koduese.
Supozojmë se largësia e kodit është d = 2r + 1. Atëhere, fjalët koduese Fi janë vendosur në
kulmet fi në largësi (2r + 1) të hiperkubit me n përmasa. Me qendër në këto kulme fi ndërtohen
sfera me rreze r=(d – 1)/2, të cilat nuk ndërpriten. Çdo gabim shumëfish ≤ r e dërgon fjalën
koduese në njërën prej fjalëve brenda sferës me qendër fi. Në këtë rast në skajin marrës mund të
themi me siguri se fjala koduese e transmetuar ka qenë Fi.

18
Si përfundim, mund të themi se kodi me largësi d= 2r + 1 është zbulues dhe korrigjues i rendit r.
Numri m i fjalëve që mund të kodohen me n bit, në mënyrë të tillë që kodi të dalë korrigjues i
rendit r jepet nga:

2𝑛
𝑚≤
1 + ∑𝑟𝑖=1(𝑖 𝑛 )

Teprica e kodit me n bit për fjalë koduese dhe k bit, informacioni përcaktohet nga:

𝑛−𝑘
𝑅𝑘 =
𝑘

Kode optimale quhen kodet që sigurojnë aftësinë korrigjuese të duhur, me tepricën minimale të
mundshme.

1.12 Teorema e dytë themelore e Shanonit

Teorema e dytë themelore e Shanonit i kushtohet kodimit në rastin e kanalit diskret me zhurma.
TEOREMË. Le të jetë dhënë një burim njoftimesh me entropi 𝐻(𝑋) dhe një kanal me kapacitet
C. Atëherë:
1 është gjithnjë e mundur që shenjat e prodhuara nga burimi, të kodohen në mënyrë të tillë që:
1. shpejtësia e transmetimit 𝑉𝑥 e tyre të jetë sa të duam afër shpejtësisë
𝐶
𝑉𝑥𝑚𝑎𝑥 = 𝐻(𝑋) (𝑠ℎ𝑝𝑒𝑗𝑡ë𝑠𝑖𝑎 𝑡𝑒𝑜𝑟𝑖𝑘𝑒).
2. Probabiliteti P i marrjes pa gabime të një shenje të jetë sa të duam afër njësisë
(P <1-ԑ)

2 Nuk ekziston asnjë mënyrë kodimi që të lejojë transmetimin me shpejtësi të madhe se 𝑉𝑥𝑚𝑎𝑥
dhe të sigurojë njëkohësisht probabilitet të vogël gabimi.

Le të shqyrtojmë një burim me alfabet (A, B, C, D), me probabilitet të shfaqjes së gërmave

P(A) = P(B) = P(C) = P(D) = 1/4. Le të përdorim një kanal binar simetrik me parametër
p=0.9 dhe impulse me gjerësi τ. Le të gjejmë shpejtësitë 𝑉𝑥(𝑑=1) dhe 𝑉𝑥(𝑑=3) për kode me largësi
d=1 dhe d=3.
Njehsojmë në fillim kapacitetin e kanalit

1 1
𝐶= [1 + 𝑝𝑙𝑜𝑔𝑝 + (1 − 𝑝) log(1 − 𝑝)] = 0.531 [𝑏𝑖𝑡/𝑠𝑒𝑘]
𝜏 𝑟

Entropia e burimit del

1
𝑏𝑖𝑡
𝐻(𝑋) = − ∑ 𝑝(𝑥𝑖 ) ∙ 𝑙𝑜𝑔 𝑝(𝑥𝑖 ) = log 4 = 2 [ ]
𝑠𝑒𝑘
𝑖=1

Shpejtësia teorike del e barabartë me:

19
 𝐶 1 𝑠ℎ
𝑉𝑥𝑚𝑎𝑥 = = ∙ 0.531[ ]
𝐻(𝑋) 2 𝑠𝑒𝑘

Për kodimin e shenjave përdorim kodim me largësi d=1 të paraqitur në figurën 1.11a. Në këtë
rast:
1. Shpejtësia 𝑉𝑥(𝑑=1) del 𝑉𝑥(𝑑=1) = 1/2 [𝑠ℎ/𝑠𝑒𝑘]

𝐴 → 00 𝐴 → 00000
𝐵 → 01 𝐵 → 00111
𝐶 → 10 𝐶 → 11101
𝐷 → 11 𝐷 → 11010
-a- -b-
Fig. 1.11 a, b

2. Probabiliteti i marrjes pa gabime lejon korrigjimin me 𝑃 = 𝑝2 = (0.9)2 = 0.81.

Le të shqyrtojmë tani kodin me largësi d=3 fig. 1.11b. Do të kemi:

Shpejtësia 𝑉𝑥(𝑑=3) del 𝑉𝑥(𝑑=3) = 1/5𝑟 [𝑠ℎ𝑒𝑛𝑗𝑎/𝑠𝑒𝑘]
Për njehsimin e probabilitetit të marrjes pa gabime të një shënje duhet të kemi parasysh se kodi i
përdorur lejon korrigjimin e gabimeve me një pozicion; të tilla gabime janë pesë për çdo fjalë
koduese që transmetohet; rrjedhim 𝑃 = 𝑝5 + 5𝑝4 ∙ 𝑞 = 0.918

20