Oka Mahendra

NIM: 211123009
PR Komunikasi Multimedia
IT Telkom

HOMEWORK #1
Suatu sumber S={a,b,c,d,#} dg probabilitas P={0.4, 0.2, 0.2, 0.1, 0.1}.
a. Cari codeword utk masing-masing simbol dg metoda (i)
Shannon, (ii) Shannon-Fano dan (iii) Huffman Coding dan
hitung efisiensinya.
b. Hitung Efisiensi dari masing-masing skim pengkodean diatas,
mana yang lebih baik?
c. Kodekan message cab# dengan metoda Arithmetic Coding
Jawab:
a.
(i) Shannon
xi
a
b
c
d
#

pi
0.4
0.2
0.2
0.1
0.1

li
2
3
3
4
4

Cum
0
0.4
0.6
0.8
0.9

Pi
0.00000
0.01100
0.10011
0.11001
0.11100

codeword
00
011
100
1100
1110

Entropy
H(s) = 0.4 lg (1/0.4) + 0.2 lg (1/0.2) + 0.2 lg (1/0.2) + 0.1 lg (1/0.1) + 0.1 lg (1/0.1)
= 2.122
Panjang Kode rata-rata
Lsh
= 0.4 * 2 + 0.2 * 3 + 0.2*3 + 0.1 * 4 + 0.1*4
= 2.8
Efisiensi = H(s) / Lsh = 2.122 / 2.8 = 75.8 %

(ii) Shannon-Fano #1

a
0.4
0

b
0.2
1

0
c
0.2
0

1
d
0.1

Codeword
xi
a
b
c
d
#

Codeword
0
10
110
1110
1111

pi
0.4
0.2
0.2
0.1
0.1

li
1
2
3
4
4

Panjang Kode rata-rata

Lsh
= 0.4 * 1 + 0.2 * 2 + 0.2*3 + 0.1 * 4 + 0.1*4
= 2.2
Efisiensi = H(s) / Lsh = 2.122 / 2.2 = 96.5 %

#
0.1

Shannon-Fano #2

0
a
0.4

Codeword
xi
a
b
c
d
#

c
0.2

b
0.2

Codeword
00
01
10
110
111

pi
0.4
0.2
0.2
0.1
0.1

li
2
2
2
3
3

Panjang Kode rata-rata

Lsh
= 0.4 * 2 + 0.2 * 2 + 0.2*2 + 0.1*3 + 0.1*3
= 2.2
Efisiensi = H(s) / Lsh = 2.122 / 2.2 = 96.5 %

d
0.1

#
0.1

(iii) Huffman Coding

0.1(#)

0.1(d)
0.2(#,d)

0.2(c)

0.2(b)

0.4(a)

0.2(c)

0.2(b)

0.4(a)

0.2(b)

0.4(a)

0.4 ((#,d)c)
0.6 (((#d,c),b)

0.1

0.1

0.2

0.2

0.4

0,4(a)

0
1

0.2

0
1

0.4

0.6

Codeword
xi
a
b
c
d
#

Codeword
1
01
001
0001
0000

pi
0.4
0.2
0.2
0.1
0.1

li
1
2
3
4
4

Panjang Kode rata-rata

Lsh
= 0.4 * 1 + 0.2 * 2 + 0.2*3 + 0.1 * 4 + 0.1*4
= 2.2
Efisiensi = H(s) / Lsh = 2.122 / 2.2 = 96.5 %

b. Efisiensi koding
Koding
Shannon
Shannon Fano
Huffman

Efisiensi
75.8%
96.5%
96.5%

Untuk kasus ini, koding terbaik dengan efisiensi tertinggi adalah Huffman dan
Shannon-Fano.

c. Arithmetic Coding dari pesan cab#

1

0.8

0.68

0.648

0.9

0.6464

0.8
0.6
0.4

0.648
0.68
0.632

0.6

0.6

0.632

Codeword adalah sembarang bilangan dalam interval 0.6464 0.6480,

biasanya digunakan batas kiri = 0.6464 atau rata-rata arithmetic = 0.6472