2.

DASAR TEORI INFORMASI


Claude E. Shannon

Kapasitas Kanal

Probabilitas

Self-Information

Entropi

Latihan Soal
“A Mathematical Theory of Communication”
By C. E. SHANNON (1948)

Claude Elwood Shannon (April 30, 1916 – February 24, 2001) was an
American mathematician,
electronic engineer, and cryptographer
known as "the father of information theory"
 SHANNON QUESTIONS
a. Apakah “informasi” itu dan bagaimana cara
mengukurnya ?
b. Apakah batasan dasar pada penyimpanan
(storage) dan transmisi informasi ?
COMMUNICATION SYSTEM

An information source : produces a message or sequence
of messages to be communicated to the receiving
terminal.
●
Message types :
(a) Sequence of letters as in a telegraph of teletype
system;
(b) Single function of time f (t) as in radio or
telephony;
(c) Function of time and other variables as in black and
white television — here the message may be thought
of as a function f (x;y; t) of two space coordinates
and time, the light intensity at point (x;y) and time t
on a pickup tube plate;

A transmitter which operates on the message in some
way to produce a signal suitable for transmission over
the channel.
●
Telephony :
●
Changing sound pressure into a proportional electrical
current.

PCM system :
●
Producing digital speech signal

Television :
●
Composite signal

The channel : medium used to transmit the signal from
transmitter to receiver.
●
Types : pair of wires, coaxial cables, band of radio
frequencies, beam of lights, etc.

The receiver : inverse operation of the transmitter to
reconstructing the message from the signal.

The destination is the person (or thing) for whom the
message is intended.
 KAPASITAS KANAL

Kapasitas kanal maksimal (C) dalam bps, bit per
second (Shannon Equation) :


B = Bandwidth kanal (Hz)

SNR = Signal-to-Noise Ratio atau S/N (dB)

snr = SNR (absolut, mis. 1000:1)
 PROBABILITAS
 Himpunan event : S = {x1, ….., xn}
 S disebut alphabet jika xi merupakan simbol (huruf) yang
digunakan untuk membangun pesan (message)

Probabilitas kemunculan masing-masing event,
p(xi) = pi

 Himpunan probabilitas, P = {p1, ….., pn}, dimana pi ≥ 0

 SELF INFORMATION

Jika sejumlah percobaan independen dilakukan dan tiap
percobaan menghasilkan outcome A1, A2, . . ., AM.

Shannon mendefinisikan suatu kuantitas bagi tiap outcome
tersebut sebagai self information (i)


Satuan i :

bit (b=2), nat (b=e), Hartley (b=10)
 Kurva i :
log p menurun jika
p meningkat dari nol ke satu


Jika probabilitas event rendah, self-information tinggi;

Jika probabilitas event tinggi, self-informasinya rendah.

Sifat :

i(A) = 0 untuk P(A) = 1

i(A) ≥ 0 untuk 0 ≤ P(A) ≤ 1

i(A) > i(B) untuk P(A) < P(B)

i(AB) = i(A) + i(B) jika A dan B event yang independen
 NILAI INFORMASI

Mana yang memiliki ‘lebih banyak’ informasi ?
a. “Besok matahari akan terbit” (26 karakter)
b. “Besok libur !” (13 karakter)

Secara intuisi, nilai informasi berhubungan
dengan :

surprise, unexpectedness, uncertainty
(kejutan, ketidakterdugaan, ketidakpastian)
 ENTROPI

Self-information hanya fokus pada satu event

Pada kompresi data lebih relevan mengukur
informasi pada himpunan event

Entropi merupakan self-information rata-rata pada
himpunan event yang independen (Ai)


Entropi merupakan jumlah bit rata-rata minimal
(terkecil) untuk mewakili output suatu sumber data

Untuk sumber biner, himpunan probabilitas
P = {p1, p2} = {p1, 1-p1}


Entropi :
H(p1,p2) = -p1 lg p1 – p2 lg p2
= -p1 lg p1 – (1 – p1) lg (1 – p1)
= H(p1)
LATIHAN SOAL
SOAL 1
SOAL 2 :
 SOAL 3 :
1) Hitunglah nilai self-information setiap simbol dari suatu
sumber biner yang memiliki 2 simbol jika peluang
kemunculannya sama.
2) Hitunglah nilai self-information setiap huruf dari suatu
sumber biner yang memiliki 3 huruf jika peluang
kemunculannya berturut-turut : ½, ¼, ¼.
3) Hitunglah entropi,
4) jika S = {x1, x2, x3} dan P = {½,¼,¼},
Catatan :
log2 x ditulis lg x
lg x = log10 x / log10 2