ΠΛΗΡΟΦΟΡΙΑ: Ι(Α) = - log(p(A

))
ΕΝΤΡΟΠΙΑ(μέση πληροφορια ανα σύμβολο) : Η(Χ) = -

N

∑ pi log( pi )
i =1

ΣΧΕΤΙΚΗ ΕΝΤΡΟΠΙΑ(αποσταση Kullback-Leibler των Px,Qx για αλφάβητο χ):
H(X,Px/Qx) =

N

∑ pi log( pi / qi)
i =1

ΕΝΤΡΟΠΙΑ ΔΥΑΔΙΚΗΣ ΠΗΓΗΣ(συνάρτηση Shannon):
Hb(p) = - plog(p) – (1-p)log(1-p)
ΣΥΝΔΕΤΙΚΗ ή αποκοινού εντροπία(εντροπία σύνθετης πηγής):
H(XY) = -

N

M

i =1

j =1

∑ ∑ p ( xi , yj ) log[ p ( xi , yj )]

ΥΠΟ ΣΥΝΘΗΚΗ ΕΝΤΡΟΠΙΑ:
N

Όταν είναι γνωστή η έξοδος απλής πηγής (Y,Py): H(X/Y) = Όταν είναι γνωστή η έξοδος απλής πηγής (Χ,Px): H(Y/X) = -

M

∑ ∑
i =1

j =1

N

M

p ( xi , yj ) log[ p ( xi / yj )]

∑ ∑
i =1

p ( xi , yj ) log[ p ( yj / xi )]

j =1

Σχέσεις που συνδέουν την υπό συνθήκη εντροπία σύνθετης πηγής με την συνδετική εντροπία και τις εντροπίες των
απλών πηγών : H(X/Y) = H(XY) – H(Y) και H(Y/X) = H(XY) – H(X)
ΔΙΑΠΛΗΡΟΦΟΡΙΑ: I(X;Υ) = H(X) – H(X/Y) ή I(X;Υ) = Η(Υ) – Η(Υ/Χ)
Σε πίνακα Pxy βάζουμε πιθανότητες p(xi,yi)
Αλλαγή βάσης αλγόριθμου:

log b =
a

log b
log a
c

c

Πίνακας διαύλου:
Σε πίνακα Py/x ή Px/y μπαίνουν οι υπο συνθήκη πιθανότητες από τον
τύπο p(xi/yi) = p(xi,yi) / p(yi)

ΕΝΤΡΟΠΙΑ ΣΥΣΤΗΜΑΤΟΣ ΔΙΑΥΛΟΥ(μέση πληροφορία ανα ζεύγος συμβόλων):

Κάνουμε πίνακα

και μετά αν ξέρουμε και τον πίνακα Py/x κάνουμε τον πίνακα

και μετά βρίσκουμε την εντροπία Η(ΧΥ)
ΕΝΤΡΟΠΙΑ ΘΟΡΥΒΟΥ: παίρνουμε τον τύπο της υπο συνθήκης εντροπίας Η(Χ/Υ)
ΕΝΤΡΟΠΙΑ ΔΙΑΥΛΟΥ: παίρνουμε τον τύπο της υπο συνθήκης εντροπίας Η(Υ/Χ)
ΕΝΤΡΟΠΙΑ ΣΤΗΝ ΕΞΟΔΟ ΔΙΑΥΛΟΥ: Η(Υ) = Η(Χ) – Η(Χ/Υ) + Η(Υ/Χ) (Αν η είσοδος και η έξοδος είναι πηγές)
ΧΩΡΗΤΙΚΟΤΗΤΑ ΔΙΑΥΛΟΥ ΠΛΗΡΟΦΟΡΙΑΣ: C= max[ I ( X ; Y )]
Px

¾ ΙΔΑΝΙΚΟΣ ΔΙΑΥΛΟΣ (Ν=Μ):
p(xi/yj) = p(yj/xi) = 0 ή 1 Άρα p(xi)=p(yi) και Px=Py
(εντροπία θορύβου και εντροπία διαύλου είναι 0 )

Υ) = Η(Y) Ο πίνακας διαύλου έχει σε κάθε γραμμή 1 μη μηδενικό στοιχείο ίσο με 1 ¾ ΟΜΟΙΟΜΟΡΦΟΣ ΔΙΑΥΛΟΣ M ΕΝΤΡΟΠΙΑ ΔΙΑΥΛΟΥ: Η(Υ/Χ) = - ∑ p( yj / xi) log( p( yj / xi)) j =1 ΔΙΑΠΛΗΡΟΦΟΡΙΑ: Ι(Χ.Υ) = Η(Χ) + m ∑ p( yj / xi) log( p( yj / xi)) J =1 Ο πίνακας διαύλου προκύπτει από την αναδιάταξη των στοιχείων οποιασδήποτε γραμμής και στήλης .Υ) = Η(Χ) = Η(Υ) ¾ ΔΙΑΥΛΟΣ ΧΩΡΙΣ ΑΠΩΛΕΙΕΣ (Ν<Μ): p(xi/yj) = 0 ή 1 / ΕΝΤΡΟΠΙΑ ΘΟΡΥΒΟΥ: Η(Χ/Υ) = 0 / ΔΙΑΠΛΗΡΟΦΟΡΙΑ: Ι(Χ.Υ) = Η(χ) Ο πίνακας διαύλου έχει ένα μη μηδενικο στοιχείο σε κάθε στήλη ¾ ΚΑΘΟΡΙΣΤΙΚΟΣ ΔΙΑΥΛΟΣ (Ν>Μ) (αντιστροφος του χωρίς απώλειες) p(yj/xi) = 0 ή 1 / ΕΝΤΡΟΠΙΑ ΘΟΡΥΒΟΥ: Η(Χ/Υ) = 0 / ΔΙΑΠΛΗΡΟΦΟΡΙΑ: Ι(Χ.Πίνακας διαύλου είναι ο μοναδιαίος ΔΙΑΠΛΗΡΟΦΟΡΙΑ ΕΙΣΟΔΟΥ/ΕΞΟΔΟΥ: Ι(Χ.

Υ) = pH(X) ΤΕΧΝΙΚΗ MUROGA (πρέπει να έχουμε πίνακα Py/x) 1) 2) Το λύνουμε και βρίσκουμε τα Α1.Α2.….¾ ΣΥΜΜΕΤΡΙΚΟΣ ΔΥΑΔΙΚΟΣ ΔΙΑΥΛΟΣ Πίνακας διαύλου ¾ ΔΥΑΔΙΚΟΣ ΔΙΑΥΛΟΣ ΕΞΑΛΕΙΨΗΣ – Σ-ΔΙΑΥΛΟΣ p(e) = 1-p ΕΝΤΡΟΠΙΑ ΘΟΡΥΒΟΥ = (1 – p)H(x) ΔΙΑΠΛΗΡΟΦΟΡΙΑ ΕΙΣΟΔΟΥ-ΕΞΟΔΟΥ = Ι(Χ.Αn 3) 4) Οι πιθανότητες των συμβόλων στην έξοδο που οδηγούν στη μέγιστη διαπληροφορία δίνονται από τον τύπο Aj − C P(yj) = 2 5) Η κατανομή των πιθανοτήτων στην είσοδο θα δίνεται από τον τύπο Py = Px*Py/x ξέροντας και τον πίνακα διαύλου Py/x και τις πιθανότητες με τον προηγούμενο τύπο ΕΥΚΡΙΝΗΣ ΚΩΔΙΚΑΣ: Κάθε σύμβολο πηγής αντιστοιχεί σε διαφορετική λέξη ΜΟΝΟΣΗΜΑΝΤΟΣ: Αν κάθε κωδική λέξη αναγνωρίζεται μέσα σε ένα σύνολο συμβόλων. δηλαδή όταν ένα μήνυμα αποκωδικοποιήται μόνο με ένα τρόπο ΣΤΙΓΜΙΑΙΑ ΑΠΟΚΩΔΙΚΟΠΟΙΗΣΙΜΟΣ: Ένας μονοσήμαντος κώδικας που επιτρέπει την αποκωδικοποίηση λέξη προς λέξη χωρίς να απαιτείται η εξέταση των επόμενων συμβόλων .

log ( pi) M ΟΡΙΑ ΤΙΜΩΝ ΜΕΣΟΥ ΜΗΚΟΥΣ ΑΝΑ ΣΥΜΒΟΛΟ ΠΗΓΗΣ ΕΝΟΣ ΚΩΔΙΚΑ(στιγμιαία αποκωδικοποιήσιμου): H (X ) L H (X ) 1 ≤ ≤ + log(M ) n log(M ) n ΤΑΥΤΟΑΝΙΣΟΤΗΤΑ KRAFT: (για μονοσήμαντο κώδικα λέγεται McMillan) (για στιγμιαία αποκωδικοποιήσιμο κώδικα λέγεται kraft) . N ΜΕΣΟ ΜΗΚΟΣ ΚΩΔΙΚΑ: L = ∑ pi * li i =1 ΜΕΣΟ ΜΗΚΟΣ ΒΕΛΤΙΣΤΟΥ ΚΩΔΙΚΑ: L* = H ( X ) / log( M ) ΜΕΤΑΒΛΗΤΟΤΗΤΑ: σ = pi * (li − L) 2 2 ΜΗΚΗ ΚΩΔΙΚΩΝ ΛΕΞΕΩΝ: li = ⎡li *⎤ ΜΗΚΗ ΚΩΔΙΚΩΝ ΛΕΞΕΩΝ ΒΕΛΤΙΣΤΟΥ ΣΤΙΓΜΙΑΙΑ ΑΠΟΚΩΔΙΚΟΠΟΙΗΣΙΜΟΥ ΚΩΔΙΚΑ: li* = .Αν ο κώδικας είναι στιγμιαία αποκωδικοποιήσιμος είναι και ευκρινής και μονοσήμαντος Αν δεν είναι ευκρινής δεν είναι ούτε μονοσήμαντος ούτε στιγμιαία αποκωδικοποιήσιμος ΠΡΟΘΕΜΑΤΙΚΗ ΙΔΙΟΤΗΤΑ: Όταν καμια κωδική λέξη δεν είναι πρόθεμα άλλης Ένας κώδικας είναι στιγμιαία αποκωδικοποιήσιμος αν ισχύει η προθεματική ιδιότητα Κάθε στιγμιαία αποκωδικοποιήσιμος κώδικας έχει δενδροδιάγραμμα.