DATA

COMPRESSION:
EFFICIENT
CODING OF A
RANDOM
MESSAGE
By Ghaida Fathin Aghniya
SLIDESMANIA.COM

2000737
 01. Example
Friend Probability Phone Number

Alice ¼ 0011 001101 0 00 0 10

Bob ½ 0011 001110 1 11 11 0

Carol ¼ 1100 110000 10 10 10 11

(i) (ii) (iii) (iv) (v) (vi)

SLIDESMANIA.COM
 01. Example
Untuk meminimalkan rata-rata panjang kata
Disimpulkan bahwa
sandi Lav, didefinisikan sebagai berikut:
persyaratannya adalah:
1. Sebuah kode harus
dapat didekodekan 𝑟
secara unik.
2. Kode harus pendek. 𝐿𝑎𝑣 ≜ ෍ 𝑝𝑖 𝑙𝑖
3. Kode bebas awalan
(setiap kode bebas 𝑖=1
awalan secara implisit
dapat didekodekan 𝒑𝒊 = 𝒑𝒓𝒐𝒃𝒂𝒃𝒊𝒍𝒊𝒕𝒂𝒔 𝒔𝒊𝒎𝒃𝒐𝒍 𝒌𝒆 − 𝒊
secara unik, tetapi tidak
𝒍𝒊 = 𝒑𝒂𝒏𝒋𝒂𝒏𝒈 𝒅𝒂𝒓𝒊 𝒄𝒐𝒅𝒆𝒘𝒐𝒓𝒅 𝒌𝒆 − 𝒊
sebaliknya)
r = 𝒋𝒖𝒎𝒍𝒂𝒉 𝒄𝒐𝒅𝒆𝒘𝒐𝒓𝒅
SLIDESMANIA.COM
 02. Prefix-free or instantaneous codes

C1 = 0 C2 = 10 C3 = 110 C4 = 111
Pada kode diatas nol berfungsi sebagai koma, setiap kali kita menerima nol
atau kode telah mencapai panjangnya 3 , maka kode dinyatakan telah
selesai. Ini adalah contoh dari kode bebas awalan. Suatu kode disebut
prefix-free (kadang-kadang juga disebut instanta neous) jika tidak ada
codeword yang merupakan prefiks dari codeword lainnya.
C1 = 0 C2 = 01 C3 = 011 C4 = 111
Kode ini tidak bebas awalan (0 adalah awalan dari 01 dan 011; 01 adalah
awalan dari 011), tetapi masih dapat didekodekan secara unik.
SLIDESMANIA.COM
 03. Trees & Codes
setiap kode biner dapat
direpresentasikan sebagai
pohon biner. Cukup ambil
kata kode apa pun dan
anggap setiap bit sebagai
keputusan apakah akan
naik (“0”) atau turun3 (“1”).
Oleh karena itu, setiap kata
kode dapat diwakili oleh
jalur tertentu yang melintasi
pohon. Perhatikan bahwa di
sini setiap kata kode adalah
daun.
SLIDESMANIA.COM
 04. The Kraft Inequality
Langkah 1
Mulailah dengan akar yang
diperpanjang, yaitu pohon
dengan dua daun, tetapkan i
= 1, dan asumsikan, tanpa
kehilangan sifat umum,
bahwa l1 ≤ l2 ≤ ··· ≤ lr.
Langkah 2
Jika ada daun yang tidak
digunakan di kedalaman li, Terdapat sebuah kode bebas awalan biner
letakkan kata kode ke-i di dengan kata kode r dengan panjang l1,l2,...,lr jika,
sana. dan hanya jika,
Langkah 3
Jika i = r, berhenti. Kalau 𝑛 n=1+N
tidak, i → i+1 dan lanjutkan ke N = jumlah node
Langkah 2 ෍ 2−𝑙𝑖 ≤ 1
SLIDESMANIA.COM

𝑖=1
 05. Trees with Probabilities
Pohon berakar dengan
probabilitas adalah pohon berakar
terbatas dengan probabillitas
yang ditetapkan untuk setiap
simpul dan daun sedemikian rupa
sehingga:
• Probabilitas simpul adalah
jumlah anak-anaknya
• Akar memiliki probabilitas 1
SLIDESMANIA.COM
 06. Optimal Codes: Huffman Code
Algoritma Huffman untuk Kode Biner Optimal

Langkah 1
Buat r daun yang sesuai dengan r simbol yang mungkin dan tetapkan
probabilitasnya p1,..., pr. Tandai daun ini sebagai aktif.
Langkah 2
Buat simpul baru yang memiliki dua daun atau simpul aktif yang paling
kecil kemungkinannya sebagai anak. Aktifkan simpul baru ini dan
nonaktifkan turunannya.
Langkah 3
Jika hanya ada satu simpul aktif yang tersisa, lakukan root. Jika tidak,
lanjutkan ke Langkah 2.
SLIDESMANIA.COM
 07. Types of Codes

Kode Huffman adalah kode unik terbaik yangdapat 𝑛

didekodekan. Hal ini dapat dilihat dari teorema berikut.
Teorema 4.19 (Teorema McMillan) Panjang kata sandi li dari
෍ 2−𝑙𝑖 ≤ 1
SLIDESMANIA.COM

setiap kode unik decodable harus memenuhi Kraft Inequality 𝑖=1

 Thank you!
Do you have any questions?
SLIDESMANIA.COM