22A702 - Θεωρία

Πληροφορίας
(Information Theory)
1η Εβδομάδα, 9/10/2020

Διδάσκων:
Σπύρος Δενάζης

Συγγραφή: Σ. Δενάζης & Δ. Τουμπακάρης.

Οι σημειώσεις διανέμονται δωρεάν σε όποιον τις ζητήσει. Επίσης, αναρτώνται στην ιστοσελίδα του μαθήματος.
Οι συγγραφείς δε φέρουν καμία ευθύνη για τα περιεχόμενα σημειώσεων που διατίθενται από άλλες πηγές.
Γενικές Πληροφορίες
 Όλο το υλικό που θα χρησιμοποιηθεί, όλη η επικοινωνία
σχετική με το μάθημα καθώς και οι σημειώσεις ή
φυλλάδια με ασκήσεις για το σπίτι θα μπορείτε να τα
βρείτε
 στο http://eclass.upatras.gr/courses/EE676/
 επίσης υλικό παλαιότερων ετών
 γι’ αυτό είναι σημαντικό να γραφτείτε στο μάθημα για άμεση
ενημέρωση
 Τρόπος εξέτασης: Πρόοδος (;) & Γραπτή εξέταση.
 1 πρόοδος τέλη Νοέμβρη με αρχές Δεκέμβρη με την ολοκλήρωση
του πρώτου μέρους (Εντροπία – Συμπίεση – Κανάλια)
 Εάν κάποιος/α φοιτητής/τρια θεωρεί ότι δικαιούται ειδικό τρόπο
εξέτασης παρακαλώ να επικοινωνήσει μαζί μας έως την
Παρασκευή 30/10.
2
Τι είναι η θεωρία πληροφορίας;
 Μια γενική και κατ’εξοχήν μαθηματική θεωρία.
 Shannon (1948): A mathematical theory of communication
 Ξεκίνησε από τον Claude Shannon με σκοπό την
κατανόηση της επικοινωνίας (Communication Theory)
 Ωστόσο, σήμερα είναι, πλέον, πολύ γενική και με ευρύ
πεδίο εφαρμογής
 Τηλεπικοινωνίες/αποθήκευση δεδομένων/κρυπτογραφία
 Τεχνολογία της πληροφορίας (αναγνώριση προτύπων, machine
learning, data mining)
 Θεωρία Πιθανοτήτων/Στατιστική (Inference)
 Οικονομικά (Επενδύσεις/Τυχερά παιχνίδια)
 Επιστήμη Υπολογιστών (Αλγοριθμική πολυπλοκότητα)
 Στατιστική Φυσική (Θερμοδυναμική)
 Bιολογία
 κ.α. 3
 Θεωρία Πληροφορίας και Επικοινωνίες
(1)
Η Θεωρία Πληροφορίας απαντά σε δύο
βασικά ερωτήματα της Θεωρίας
Επικοινωνίας:
1. Πόσο μπορούμε να συμπιέσουμε μια στοχαστική
διαδικασία και πώς;
 Όπως θα δούμε, βασικό ρόλο σε αυτό το πρόβλημα
διαδραματίζει ένα μέγεθος που ονομάζουμε εντροπία, H
ή αλλιώς μέσο πληροφορικό περιεχόμενο.
2. Πόσα δεδομένα μπορούμε να μεταδώσουμε χωρίς
λάθος μέσα σε ένα δίαυλο (κανάλι) και πώς πρέπει
να γίνει η μετάδοση;
 Σε αυτό το πρόβλημα σημαντικό ρόλο διαδραματίζει ένα
μέγεθος που ονομάζεται αμοιβαία πληροφορία, I.

4
 Θεωρία Πληροφορίας και Επικοινωνίες
(2)
To γενικό πρόβλημα των επικοινωνιών είναι το
εξής: Δεδομένου ενός δικτύου n πηγών που
θέλουν να μεταδώσουν δεδομένα σε m
προορισμούς, πώς πρέπει να γίνει η μετάδοση
και πόσα δεδομένα μπορούμε να
μεταδώσουμε στη μονάδα του χρόνου
δοθέντος των παρεμβολών (interference)
μεταξύ των πηγών και του θορύβου (noise);
 Το γενικό, αυτό, πρόβλημα, δεν έχει λυθεί.
 Έχουν, όμως, βρεθεί λύσεις για πολλές ειδικές
περιπτώσεις
5
 Θεωρία Πληροφορίας και Επικοινωνίες
(3)
Σε αυτό το μάθημα θα εστιάσουμε στα εξής
1. Αναπωλειακή συμπίεση στοχαστικής διαδικασίας
(lossless compression).
1α. Πρακτικοί τρόποι συμπίεσης (source codes).
2.Μετάδοση δεδομένων από μία πηγή σε ένα
προορισμό μέσω διαύλων χωρίς μνήμη (single-user
transmission through memoryless channels).
2α. Κώδικες για μετάδοση σε διαύλους (channel
codes) για ανίχνευση και διόρθωση λαθών.

6
Claude Shannon (1916 – 2001)

 Ο δημιουργός της Θεωρίας Πληροφορίας

 1948: “A Mathematical Theory of Communication,”
The Bell System Technical Journal.
 Διαθέσιμο και στο eclass

7
Andrei Nikolaevich Kolmogorov
(1903-1987)

 Ένας από τους πιο επιφανείς μαθηματικούς του

20ου αιώνα.
 Σημαντική συμβολή (και) στη Θεωρία
Πληροφορίας
8
Harry Nyquist (1889-1976)

 Οι εργασίες του στη Θεωρία Επικοινωνίας επηρέασαν

σημαντικά την ανάπτυξη της Θεωρίας Πληροφορίας
 Πρώτη συμβολή στο θεώρημα δειγματοληψίας (sampling
theorem) (1928)
9
Norbert Wiener (1894-1964)

 Ιδρυτής της κυβερνητικής (cybernetics)

 Πρωτοπόρος στη μελέτη θορύβου και στοχαστικών
ανελίξεων (stochastic processes)
 Επικεντρώθηκε κυρίως στην εκτίμηση (estimation) (και όχι
στη μετάδοση)

10
Richard Hamming (1915-1998)

 Σημαντική συμβολή στη Θεωρία Κωδικοποίησης

 Hamming codes
 Hamming distance, Sphere-packing bound
 Επίσης, έρευνα σε φίλτρα (Hamming Window), αριθμητική ανάλυση.
 Θεωρείται ο ιδρυτής της κωδικοποίησης ελέγχου σφαλμάτων (error-
control coding)
 “It is better to solve the right problem the wrong way than to solve the
wrong problem the right way.”
 “[…] true greatness is when your name is like ampere, watt, and
fourier, when it's spelled with a lower case letter.” 11
 Σήμερα

 Θεωρία Πληροφορίας: Αυτόνομη επιστημονική

περιοχή
 ΙΕΕΕ Information Theory Society
 Transactions on Information Theory
 International Symposium on Information Theory (ISIT)
12
 Δομή μαθήματος (πολύ γενική)
 Εβδομάδες 1-5 (1o μέρος) (Σ. Δενάζης)
 Εντροπία και Θεώρημα Κωδικοποίησης Πηγής (πηγές

και συμπίεση). Κώδικες πηγής (source codes)

 Εβδομάδες 6-7 (2ο μέρος) (Σ. Δενάζης)
 Χωρητικότητα και Θεώρημα Κωδικοποίησης Καναλιού

(κανάλια και μετάδοση)

 (Πρόοδος: Τέλος Νοεμβρίου - Μέσα Δεκεμβρίου)
 Εβδομάδες 8-13 (3ο μέρος) (Μ. Μπίρμπας)
 Θεωρία Κωδικοποίησης (αλγόριθμοι κωδικοποίησης και

αποκωδικοποίησης για ανίχνευση και διόρθωση

σφαλμάτων στο δέκτη)

13
Συμπίεση δεδομένων (Data compression)
 Μια εργοδική στοχαστική ανέλιξη (τυχαία διαδικασία)
(ergodic random process) δεν μπορεί να συμπιεστεί
περισσότερο από ένα όριο (το οποίο ονομάζεται
εντροπία (entropy)). Eάν τη συμπιέσουμε
περισσότερο, η πιθανότητα ανάκτησης της
στοχαστικής ανέλιξης χωρίς σφάλμα είναι μη
μηδενική.
 Θεώρημα Κωδικοποίησης Πηγής (Source Coding

Theorem)
 Υπάρχουν κώδικες που επιτυγχάνουν συμπίεση
πολύ κοντά στην εντροπία.
 Θα ασχοληθούμε με τη συμπίεση στο 1 ο μέρος του
μαθήματος.
14
Παρένθεση: Τι εννοούμε με τον όρο
«κωδικοποίηση»;
 Κωδικοποίηση: Η αναπαράσταση κάποιου σήματος
με κάποιο άλλο
 Μια απεικόνιση από ένα σήμα σε ένα άλλο
 Γιατί να κωδικοποιήσουμε;
 Προκειμένου να συμπιέσουμε ένα στοχαστικό σήμα
(Κωδικοποίηση πηγής - 1ο μέρος μαθήματος)
 Προκειμένου να μεταδώσουμε πιο αποδοτικά
(Κωδικοποίηση καναλιού - 2ο και 3ο μέρος μαθήματος)
 Προκειμένου να φέρουμε το σήμα σε κάποια μορφή
την οποία μπορούμε να επεξεργαστούμε.
 Προκειμένου να προστατεύσουμε/αποκρύψουμε
πληροφορία (κρυπτογραφία)

15
Εντροπία Η
 Το όριο συμπίεσης
 Το μέσο μήκος της πιο σύντομης περιγραφής μιας
τυχαίας μεταβλητής/ενός δείγματος μιας
στοχαστικής ανέλιξης.
 Άρα, ένα μέτρο της μέσης πληροφορίας που
εμπεριέχεται σε μια τ.μ./σε ένα δείγμα στοχαστικής
ανέλιξης.
 Ισοδύναμα, ένα μέτρο της μέσης αβεβαιότητας
σχετικά με μια τ.μ./δείγμα στοχαστικής ανέλιξης
 Ό,τι γνωρίζουμε ή μπορούμε να υπολογίσουμε δε μας
παρέχει πληροφορία όταν μας αποκαλύπτεται.
 Μονάδα μέτρησης: bit (ή, σπανιότερα, nat)
 Περισσότερες λεπτομέρειες σε επόμενα μαθήματα
16
Παράδειγμα 1.1: Ρίψη αμερόληπτου
κέρματος (unbiased coin)
 Χ: η τ.μ. (Bernoulli) που περιγράφει το αποτέλεσμα της ρίψης
 M=2 ισοπίθανα ενδεχόμενα
p(κορώνα) = ½, p(γράμματα) = ½.
 Για να κωδικοποιήσουμε τη ρίψη κέρματος με κωδική λέξη
ίδιου μήκους για κάθε ενδεχόμενο (κωδικοποίηση σταθερού
μήκους) χρειαζόμαστε log2M=1 bit
 Παράδειγμα κωδικοποίησης:
 Κορώνα → 1, Γράμματα → 0

 Θα δούμε ότι η εντροπία της Χ ισούται με 1 bit/ρίψη.

 Εντροπία = μέσο μήκος βέλτιστης περιγραφής της Χ.
 Στο συγκεκριμένο παράδειγμα η βέλτιστη κωδικοποίηση είναι
προφανής. Επίσης, το μήκος των κωδικών λέξεων είναι
σταθερό (και ίσο με 1). 17
Παράδειγμα 1.1: Ρίψη αμερόληπτου
κέρματος (συνέχεια)
 Ας υποθέσουμε ότι κωδικοποιούμε ανά 2 διαδοχικές
ρίψεις (η τ.μ. Υ περιγράφει το αποτέλεσμα 2
διαδοχικών ρίψεων):
Ρίψη 1 Ρίψη 2 Κώδικας
Κ Κ 00
Κ Γ 11
Γ Κ 01
Γ Γ 10
 Και πάλι, μήκος περιγραφής/ρίψη = 1 bit

18
 Παράδειγμα 1.2: Ρίψη μεροληπτικού
(biased) κέρματος
 π.χ. p(κορώνα) = 3/4, p(γράμματα) = 1/4.
 Η πιθανότητα να εμφανιστεί κορώνα είναι μεγαλύτερη
από 1/2 → μικρότερη αβεβαιότητα για το αποτέλεσμα
της ρίψης σε σχέση με το Παράδειγμα 1.1.
 Θα δούμε ότι η εντροπία της Χ ισούται με 0.811
bits/ρίψη.
 Μπορούμε να κωδικοποιήσουμε το αποτέλεσμα της
ρίψης ώστε κατά μέσο όρο να χρησιμοποιούμε 0.811
bits/ρίψη για την περιγραφή; Και αν ναι, πώς;
 1ο μέρος του μαθήματος (συμπίεση)

19
Παράδειγμα 1.3: Κώδικας Morse
 Τα γράμματα που
εμφανίζονται πιο συχνά
(π.χ. E, T) έχουν πιο
σύντομη περιγραφή.
 Η συμπίεση με τον
κώδικα Morse είναι
αποδοτική.
 Πώς θα υπολογίζατε το
μέσο μήκος ανά γράμμα
του κώδικα Morse;
20
Παράδειγμα 1.3: Κώδικας Morse
(συνέχεια)
 Παρατηρήστε ότι, στην
ουσία, χρησιμοποιούμε 3
σύμβολα: . , - και παύση.
 Θα μπορούσαμε να είχαμε
χρησιμοποιήσει ακολουθίες
μήκους το πολύ 4
συμβόλων, αφού 34=81>36,
αλλά δεν το κάνουμε. Γιατί;

21
 Χωρητικότητα καναλιού (Channel
Capacity)
Χ Κανάλι Υ
 Κανάλι ενός χρήστη (single-user) (1 πομπός – 1 δέκτης)
χωρίς μνήμη (memoryless)
 Shannon (1948): Μπορούμε να μεταδώσουμε μέσω ενός
καναλιού χωρίς μνήμη με αυθαίρετα μικρή (αλλά, στη
γενική περίπτωση, όχι ακριβώς μηδενική) πιθανότητα
σφάλματος, αρκεί ο ρυθμός μετάδοσης (transmission
rate), R, να μην υπερβαίνει τη χωρητικότητα, C, του
καναλιού.
 Θεώρημα Κωδικοποίησης Καναλιού (Channel Coding
Theorem)
22
Θεώρημα Κωδικοποίησης Καναλιού
(Channel Coding Theorem)
 Έφερε επανάσταση στις επικοινωνίες
 Το “διαμάντι” της Θεωρίας Πληροφορίας
 Δεν θα το αποδείξουμε με αυστηρή μαθηματική
απόδειξη αλλά εμπειρική (για διακριτά κανάλια χωρίς
μνήμη).
 Η απόδειξη προτείνει τρόπο κωδικοποίησης ο οποίος είναι
εξαιρετικά πολύπλοκος (και ανεφάρμοστος) στην πράξη.
 Από το 1948 και μετά: Θεωρία Κωδικοποίησης (Coding
Theory): Υλοποιήσιμοι κώδικες οι οποίοι προσεγγίζουν τη
χωρητικότητα.
 Σήμερα μπορούμε να μεταδώσουμε πολύ κοντά στη
χωρητικότητα (Turbo/LDPC codes).
23
Προεπισκόπηση Μαθήματος
Η Θεωρία Πληροφορίας μελετά τα
θεωρητικά όρια και τις δυνατότητες
συστημάτων επικοινωνίας.
Η Θεωρία Κωδικοποίησης
Πηγή Δέκτης
ασχολείται με τη δημιουργία
πρακτικών συστημάτων
s κωδικοποίησης/ αποκωδικοποίησης ŝ
καναλιού.
Χάνουμε σε απόδοση εάν
Κωδικοποίηση & διαχωρίσουμε την Αποκωδικοποίηση &
κωδικοποίηση/
Συμπίεση Πηγής αποκωδικοποίηση
Αποσυμπίεση Πηγής
πηγής/καναλίού;Σε μερικές
περιπτώσεις ΟΧΙ
q q̂
t r
Κωδικοποιητής Κανάλι με Αποκωδικοποιητής
Καναλιού Θόρυβο Καναλιού

24
Προεπισκόπηση Μαθήματος
(συνέχεια)
 Παραδείγματα επικοινωνίας μέσω καναλιών
Τηλεφωνική γραμμή (συνεστραμμένο ζεύγος καλωδίων

χαλκού – twisted pair)
 Aσύρματο κανάλι (π.χ. στην κινητή τηλεφωνία)
 Αναπαραγωγή κυττάρων για τη μετάδοση πληροφορίας
μέσω DNA από γονείς σε παιδιά.
 Σκληρός δίσκος Η/Υ
 Κατά τη μετάδοση πληροφορίας δια μέσου καναλιών
υπάρχει (μη μηδενική) πιθανότητα λανθασμένης
λήψης επειδή δε λαμβάνουμε ακριβώς το ίδιο σήμα
στο δέκτη. Το κανάλι εισάγει θόρυβο ή/και
παραμόρφωση.
 Ο μέγιστος ρυθμός μετάδοσης (με αυθαίρετα μικρό
σφάλμα) (η χωρητικότητα) εξαρτάται από το κανάλι.

25
Παράδειγμα 1.4: Δυαδικό Συμμετρικό
Κανάλι (Binary Symmetric Channel –
BSC)
 Δυαδική πηγή (π.χ. 0 ή 1)

 Αντιστροφή ψηφίου με πιθανότητα p (π.χ.=0.1)

1 p )
0 ( 0
p
1 ( 1
1 p )

 Λύσεις;
 Βελτίωση του καναλιού (αλλαγή p)
 Βελτίωση της μεθόδου επικοινωνίας (διαφορετική κωδικοποίηση).

26
Παράδειγμα 1.4: BSC (συνέχεια)
 Κώδικας Επανάληψης (Repetition Code)
 Μετάδοση κάθε συμβόλου (μηνύματος) της πηγής ν
φορές

Συμβολίζεται με Rν, πχ. R3 για ν=3
 Μήνυμα s=0 0 1 0 1 1 0, p = 0.1.

Μπορούμε να μοντελοποιήσουμε ως r=tn (: XOR)
n: Θόρυβος (αναστροφή bit)
s 0 0 1 0 1 1 0

t 000 000 111 000 111 111 000

n 000 001 000 000 101 000 000

r 000 001 111 000 010 111 000

27
Παράδειγμα 1.4: BSC (συνέχεια)
 Ερωτήματα που προκύπτουν
 Πώς μπορούμε να αποκωδικοποιήσουμε το διάνυσμα r;
 Ποιος είναι ο βέλτιστος αλγόριθμος
αποκωδικοποίησης, δηλαδή ο αλγόριθμος που
ελαχιστοποιεί την πιθανότητα σφάλματος με την
οποία ανακτάται το αρχικό σύμβολο (μήνυμα);
 Ποια είναι η (ελάχιστη) πιθανότητα σφάλματος για κάθε
σύμβολο (μήνυμα) που αποκωδικοποιείται;
 Ποια είναι η επίπτωση της κωδικοποίησης στο ρυθμό
μετάδοσης;
 Ποια η σχέση μεταξύ πιθανότητας σφάλματος και
ρυθμού μετάδοσης;

28
Παράδειγμα 1.4: BSC (συνέχεια)
 Αποκωδικοποίηση με τον αλγόριθμο της πλειοψηφίας
(majority decoding)
s 0 0 1 0 1 1 0

t 000 000 111 000 111 111 000

n 000 001 000 000 101 000 000

r 000 001 111 000 010 111 000

ŝ 0 0 1 0 0 1 0
 Πιθανότητα σφάλματος ανά bit, pb = 0.028 p3+3(1-p)p2
 Ρυθμός μετάδοσης, R=1/3 bits/χρήση καναλιού
 Θα αποδείξουμε αργότερα στο μάθημα ότι όταν
χρησιμοποιούμε Κώδικα Επανάληψης στο BSC ο
αλγόριθμος πλειοψηφίας ελαχιστοποιεί την πιθανότητα
σφάλματος στο δέκτη. 29
Παράδειγμα 1.4: BSC (συνέχεια)
Κανάλι με
s Κωδ/τής t Θόρυβο r Αποκωδ/τής ŝ

R3 p = 0.1 pb = 2.8%

30
Παράδειγμα 1.4: BSC (συνέχεια)
 Διάγραμμα πιθανότητας σφάλματος – ρυθμού
μετάδοσης για τον Κώδικα Επανάληψης.

N
N  n
pb    p 1  p
N n

 n (N 1) 2 n 

Πιο χρήσιμοι
(αποδοτικοί)
(αλλά και, γενικά, Ν: αριθμός επαναλήψεων.
πιο πολύπλοκοι), 
κώδικες (στον τύπο θεωρούμε
περιττό Ν)

Ρυθμός μετάδοσης R
31
 Παράδειγμα 1.4: BSC (συνέχεια)
 Σχέση πιθανότητας σφάλματος και ρυθμού μετάδοσης
 Μειώνοντας την πιθανότητα
σφάλματος ελαττώνεται και ο ρυθμός
μετάδοσης.
 Για παράδειγμα, εάν η πιθανότητα Πιο χρήσιμοι κώδικες

σφάλματος σε ένα σκληρό δίσκο

300Gb με p=0.1 πρέπει να μην είναι
υπερβαίνει το 10-15, η πραγματική εφικτό;
χωρητικότητά του θα πρέπει να είναι
18 Τb!! (εάν χρησιμοποιείται κώδικας
επανάληψης).
 Υπάρχει τρόπος να επικοινωνήσουμε
Ρυθμός μετάδοσης, R
με μικρή πιθανότητα σφάλματος και,
ταυτόχρονα, με μεγαλύτερο ρυθμό N
N  n
pb    p 1  p
N n
μετάδοσης σε σχέση με τον κώδικα
 n (N 1) 2 n 
επανάληψης;

32
Παράδειγμα 1.4: BSC (συνέχεια)
 Όπως θα δούμε στο μάθημα, η χωρητικότητα, C, του
BSC ισούται με 1+plog2p+(1-p)log2(1-p) = 0.531
bits/χρήση καναλιού για p = 0.1.
 Άρα, μπορούμε να μεταδώσουμε με 0.531 bits/χρήση
καναλιού και, ταυτόχρονα, με αμελητέα πιθανότητα
σφάλματος! (πιο αυστηρά, με όσο μικρή πιθανότητα
σφάλματος επιθυμούμε)
 Πώς (και με πρακτικά υλοποιήσιμους αλγορίθμους); Αυτή
ήταν η μεγάλη πρόκληση της Θεωρίας Κωδικοποίησης.
 Επίσης, μπορούμε να μεταδώσουμε με ρυθμό μεγαλύτερο
από 0.531 bits/χρήση καναλιού και μη μηδενική (όχι, πλέον,
αυθαίρετα μικρή) πιθανότητα σφάλματος.
 Για παράδειγμα, R=1 bit/χρήση καναλιού όταν η πιθανότητα
σφάλματος ισούται με 0.1

33
 Προεπισκόπηση Μαθήματος
 Στο 3 μέρος του μαθήματος θα μελετήσουμε κάποιους
ο
(συνέχεια)
από τους κώδικες καναλιού.

Υπάρχει κώδικας για το κανάλι

BSC ο οποίος μπορεί να
πετύχει ρυθμό μετάδοσης
R=0,53 με τόσο μικρή
πιθανότητα!!!!
Δηλαδή αντί για 18 Τbytes
σκληρό μας αρκεί ένας
σκληρός με περίπου 566
Gbytes για σχεδόν αμελητέα
πιθανότητα λάθους.

Ρυθμός μετάδοσης R Ρυθμός μετάδοσης R

34
Τι αναμένεται διαισθητικά ως προς τη σχέση pb και ρυθμού μετάδοσης R; Για να μπορέσουμε να πετύχουμε
όσο το δυνατόν πιο μικρές πιθανότητες λάθους σε ποια τιμή περιμένουμε να τείνει το R;
Προεπισκόπηση Μαθήματος
Ένα σήμα (π.χ. φωνή, μουσική), μπορεί να περιγραφεί
(συνέχεια)

στατιστικά ως τυχαία διαδικασία (στοχαστική ανέλιξη).
 Εάν η στοχαστική ανέλιξη είναι εργοδική το μέσο μήκος
των δυνατών κωδικοποιήσεων που αποσκοπούν στην
αναπωλειακή (lossless) συμπίεσή της έχει μία ελάχιστη
τιμή (Εντροπία H).
 Θεώρημα Διαχωρισμού πηγής-καναλιού
 Εάν η εντροπία της πηγής είναι μικρότερη από τη
χωρητικότητα του καναλιού μετάδοσης, τότε είναι
δυνατόν να επιτευχθεί μετάδοση των συμβόλων που
παράγει η πηγή με αυθαίρετα μικρή πιθανότητα
σφάλματος.
 Δεν ισχύει σε όλα τα κανάλια, αλλά ισχύει για αυτά που θα
εξετάσουμε (ενός χρήστη, χωρίς μνήμη).
 Ώστόσο, στην πράξη, αυτό συνήθως απαιτεί
 Πολυπλοκότητα (complexity)
 Καθυστέρηση (delay)

35
Ορισμός εντροπίας
 Υπολογισμός στην τάξη στο επόμενο μάθημα:
Αριθμός τυπικών ακολουθιών ανεξάρτητων και
ομοίως κατανεμημένων (i.i.d.) δυαδικών τ.μ. μήκους
n: ≈ 2nΗ.
 Ορισμός εντροπίας (σε bits) για διακριτές τ.μ.
 1 
H(X)  E P log 2    p(x)log 2 p(x)
  p(x)  x

 Εντροπία ρίψης αμερόληπτου κέρματος

1 1
H(X)  2 log 2  1 bit
 2 2
 Θα επανέρθουμε στην εντροπία.
36
 Υπενθύμιση: Κατανομή Bernoulli
 Η (διακριτή) τ.μ. X ακολουθεί κατανομή Bernoulli
με παράμετρο p[0,1] (Χ~Bern(p)) εάν
1  ó p
X  
 0  ó (1-p)
 p(0) = 1-p, p(1) = p, p(n)=0, n≠0,1.
 Η κατανομή Bernoulli περιγράφει πείραμα το
οποίο μπορεί να έχει μόνο 2 πιθανά

αποτελέσματα (π.χ. επιτυχία ή αποτυχία).
 Μία (1) ρίψη κέρματος (πιθανώς μεροληπτικού)
ακολουθεί κατανομή Bernoulli.

37
Αντιστοιχία βιβλίου Cover &
Thomas με την ύλη της 1ης
εβδομάδας
 1.1, 2.1 Εντροπία

 3.1 & 3.2 (εκτός ύλης): Αν θέλετε να

εμβαθύνετε μόνοι σας και να καταλάβετε την
Ιδιότητα Ασυμπτωτικής Ισοδιαμέρισης
(Asymptotic Equipartition Property - AEP)
στην οποία αναφερθήκαμε με συντομία στο
μάθημα.

38
 Τυχαίες διαδικασίες
 Τυχαία διαδικασία ή στοχαστική ανέλιξη ή στοχαστική
διαδικασία (random process) {Χn}={Χ1, Χ2, …} με αλφάβητο
A
 Επέκταση της έννοιας της τ.μ. Σε αυτήν την περίπτωση, αντί
για μία τιμή τ.μ. έχουμε ένα τυχαίο σήμα (τυχαία ακολουθία
αν το σήμα είναι διακριτού χρόνου).
 Μπορούμε να «δούμε» μια στοχαστική ανέλιξη με δύο
τρόπους. Για παράδειγμα, για την περίπτωση διακριτού
χρόνου, μπορούμε να δούμε μία στοχαστική ανέλιξη
1. Ως μία ακολουθία τ.μ. (όχι απαραιτήτως ανεξάρτητων) με δείκτη το
χρόνο, η καθεμία με το ίδιο αλφάβητο A. Δηλαδή, για συγκεκριμένη
χρονική στιγμή, k, η Χ(ω,k) είναι μία τ.μ. με πεδίο ορισμού το Ω
που παίρνει τιμές στο A.
2. Για ένα συγκεκριμένο στοιχειώδες ενδεχόμενο, ω0, η Χ(ω0,k) είναι μία
ντετερμινιστική συνάρτηση του χρόνου, k. 39
 Τυχαίες διαδικασίες (συνέχεια)
 Πλήρης περιγραφή: Με χρήση της από κοινού σ.μ.π. (pmf)
p(x1,x2,…) ή οποιουδήποτε συνδυασμού p(xi,xj,…, xr)
 Στάσιμη (stationary) στοχαστική ανέλιξη (κατά την αυστηρή
έννοια – Strict-Sense Stationary):
p(xi+k,xj+k,…, xr+k)= p(xi,xj,…, xr) για οποιοδήποτε k (tk για
στοχαστικές διαδικασίες συνεχούς χρόνου) και για
οποιαδήποτε xi,xj,…, xrA. Δηλαδή, η κατανομή της είναι η
ίδια ανεξαρτήτως της συγκεκριμένης χρονικής στιγμής (ή
του μέρους του χώρου) στην οποία την παρατηρούμε.
 Eπίσης, ορίζεται στασιμότητα κατά την ευρεία έννοια
(WSS).
 Σημαντική, επίσης, είναι και η έννοια της εργοδικότητας.
 Θα αναφερθούμε ξανά στη στασιμότητα και στην
εργοδικότητα σε επόμενα μαθήματα. 40
Εισαγωγή στην Εντροπία

 Πώς μπορούμε να μετρήσουμε την

πληροφορία;

41
Ποσότητα Πληροφορίας κατά Hartley
α1 . α1α2α3…αk.
Παραγωγή λέξεων
α2 . μήκους k α2α3α4…αk+1.
.
.
.

.
.
.
αΝ. αjαlαn…αx.

Σύνολο Σύνολο
Ν Νκ
Συμβόλων Λέξεων
 Ποσότητα της πληροφορίας κατά Hartley για λέξεις μήκους k που
σχηματίζονται από ένα σύνολο Ν συμβόλων
 klogN
 Καλή περιγραφή για ισοπίθανα αi τα οποία επιλέγονται
ανεξάρτητα.
42
Η Πληροφορία κατά Shannon
 Γενίκευση Shannon
 Τι συμβαίνει αν η εμφάνιση κάθε συμβόλου συνδέεται και με μία

πιθανότητα;
 Η περιεκτικότητα σε πληροφορία, Ι, (self information) ενός
συγκεκριμένου συμβόλου ή ενός συγκεκριμένου μηνύματος x με
πιθανότητα εμφάνισης p ισούται με
 Ι (p)=log (1/p)= -log (p) bits.
x 2 2
 Όσο πιο απίθανο ένα ενδεχόμενο
 τόσο πιο αβέβαιο είναι ότι θα εμφανιστεί
 τόσο περισσότερη πληροφορία θα προσφέρει εάν συμβεί (εάν μας
αποκαλυφθεί η τιμή του)
 0≤ Ιx(p)≤ +∞, όταν 0≤ p ≤1
 Όσο πιο πιθανό είναι ένα ενδεχόμενο τόσο λιγότερη πληροφορία
περιέχει. Ιx(p)=0 για p=1, ενώ όταν p0 τότε Ιx(p)+∞

43
Η Πληροφορία κατά Shannon (2)
 Γιατί, όμως, η ύπαρξη του λογαρίθμου;
 Έστω ότι χρησιμοποιούμε μια γραμμή για μετάδοση M

μηνυμάτων. Εάν προσθέσουμε άλλη μια, μπορούμε

να μεταδώσουμε Μ2 μηνύματα. Ωστόσο, διαισθητικά, η
πληροφορία που μεταδίδουμε πρέπει να
πολλαπλασιαστεί με 2 (αφού διπλασιάσαμε τις
γραμμές) και όχι με M.
 Οι από κοινού (joint) πιθανότητες ανεξάρτητων μεταξύ

τους γεγονότων ισούνται με το γινόμενο των

πιθανοτήτων του κάθε γεγονότος χωριστά. Επομένως,
εάν παρατηρούμε 2 ανεξάρτητες τ.μ., θα πρέπει να
μπορούμε να προσθέτουμε την πληροφορία που
μεταφέρει η καθε μία από αυτές.
 P(m,n)=p p  I(m,n)=-log(p p )=
n m n m

-log(pn)-log(pm)=I(m)+I(n)
44
Η Πληροφορία κατά Shannon (3)
 Ωστόσο, η θεωρητική (και, στην ουσία, η μόνη
σωστή) τεκμηρίωση του ορισμού παρέχεται από την
Ιδιότητα Ασυμπτωτικής Ισοδιαμέρισης (AEP)
 O αριθμός των τυπικών ακολουθιών είναι περίπου

ίσος με 2nH , όπου

H   pi log pi

 Δηλαδή, χρησιμοποιώντας αυτόν τον ορισμό για
την εντροπία, H, μπορούμε να εκφράσουμε το
μέσο αριθμό bits που απαιτούνται για τη συμπίεση
κάθεσυμβόλου μιας στοχαστικής ανέλιξης.
 Το AEP επεκτείνεται και σε συνεχείς τ.μ.

45
 Εντροπία Η διακριτής τ.μ.
 Έστω Χ διακριτή τ.μ. με δειγματικό χώρο (πεδίο τιμών)
Χ={x1,x2, ...,xn} και συνάρτηση μάζας πιθανότητας (p.m.f.) p(xi).
 Μέση ποσότητα πληροφορίας (εντροπία) Η(Χ), της Χ
n
1  1 
H(X)   px i log p(x i )   px log  E p X log 
 i1 xA p(x)  p(X ) 
 Εναλλακτικός συμβολισμός: Η(p)=H(p1,p2,…,pn)
 Σύμβαση: 0log0=0.
 Η εντροπία δεν εξαρτάται από τις τιμές της τ.μ Χ. αλλά από την
 κατανομή της, δηλαδή από τις τιμές που παίρνει η μάζα
πιθανότητας. Εάν χρησιμοποιούμε log2, η Η μετριέται σε bits.
 Λήμμα 1 Η(Χ)≥0 (δεδομένου ότι 0≤p(x)≤1)
 Λήμμα 2 (αλλαγή βάσης) Ηb(Χ)=(logba)Ha(X)

Υπενθυμίζεται ότι logbx=logbalogax

Επίσης, Η(Χ)≤log|X|, όπου |X| το μέγεθος του αλφαβήτου από το
οποίο παίρνει τιμές η X  Θα το αποδείξουμε αργότερα.
46
Μονάδες μέτρησης της εντροπίας
 Αν χρησιμοποιήσουμε ln() η μονάδα μέτρησης είναι nats.
 Αν χρησιμοποιήσουμε log2() η μονάδα μέτρησης είναι bits.
 Στο μάθημα από εδώ και στο εξής, θα χρησιμοποιούμε
σχεδόν πάντα bits.
 log θα υποδηλώνει log2
 αν και δεν έχει ιδιαίτερη σημασία ποια βάση χρησιμοποιούμε, δεδομένου
ότι οι εκφράσεις με διαφορετική βάση διαφέρουν, απλώς, κατά μια
σταθερά (logba).

47
Εντροπία τ.μ. Bernoulli
1  ó p
X  
 0  ó (1-p)
 Η(Χ)=-plog(p)-(1-p)log(1-p)Η(p)
 Η εντροπία μεγιστοποιείται για p=1/2, όταν, δηλαδή, τα δύο
ενδεχόμενα είναι ισοπίθανα (μέγιστη αβεβαιότητα)

48
 Παράδειγμα 1.5 (Cover & Τhomas
2.1.2)
a  ó 1/2

 b  ó 1/ 4
X  
c  ó 1/8

d  ó 1/8

1 1 1 1 1 1 1 1
H(X)   log  log  log  log 
2 2 4 4 8 8 8 8
1 1 1 7
  (1)  (2)  2 (3)  bits
 2 4 8 4
 Επομένως η κωδικοποίηση με 2 bits/ψηφίο δεν είναι η πλέον
αποδοτική.
 Το ερώτημα, τώρα, είναι: Μπορούμε να επιτύχουμε
κωδικοποίηση με 7/4 bits/ψηφίο κατα μέσο όρο στην πράξη;
 Ναι!

49
 Παράδειγμα 1.5 (συνέχεια)
a  ó 1/2
b  ó 7
 
X  
1/ 4 Η(Χ)  bits
c  ó 1/8 4

d  ó 1/8

 Έστω ότι χρησιμοποιούμε τον κώδικα:
α0, β10, γ110, δ111
 Το μέσο μήκος περιγραφής της Χ (σε bits) με χρήση του
παραπάνω κώδικα ισούται με
E[l] = 1/21+ 1/42+21/83=7/4=H(X)
 Θα δούμε ότι, γενικά, για οποιαδήποτε κατανομή, υπάρχει
κώδικας για τον οποίο ισχύει Η(Χ)E[l]Η(Χ)+1.
 Υπάρχει κώδικας τέτοιος ώστε το μέσο μήκος της συμπιεσμένης τ.μ.
να βρίσκεται το πολύ 1 bit μακριά από την εντροπία, Η(Χ), της τ.μ.

50
Περίληψη 1ης εβδομάδας
 Η Θεωρία Πληροφορίας είναι μια μαθηματική
θεωρία.
 Δημιουργήθηκε με σκοπό τη διερεύνηση των ορίων
επικοινωνίας.
 Απαντά (μεταξύ άλλων) σε 2 βασικά ερωτήματα
 Ποια είναι η μέγιστη (αναπωλειακή) συμπίεση πηγής
(ισοδύναμα, πόση πληροφορία περιέχεται σε μια
στοχαστική ανέλιξη)
 Ποιος είναι ο μέγιστος ρυθμός μετάδοσης πληροφορίας
μέσω ενός (στοχαστικού) καναλιού.
 Οι θεωρητικές απαντήσεις καθοδηγούν την έρευνα
για πρακτικές (και υλοποιήσιμες) τεχνικές συμπίεσης
και μετάδοσης.
 Σήμερα η Θεωρία Πληροφορίας έχει εφαρμογές σε
πολλά επιστημονικά πεδία.
51
Περίληψη 1ης εβδομάδας (2)
 Εντροπία τ.μ.
 Η μέση πληροφορία που παίρνουμε όταν μας

«αποκαλύπτεται» μια τ.μ.

 Η μέση αβεβαιότητα που έχουμε για μια τ.μ. πριν

μάθουμε την τιμή της

 Το όριο συμπίεσης μιας ακολουθίας i.i.d.
(περισσότερα στα επόμενα μαθήματα)

52
Την επόμενη εβδομάδα
 Από κοινού εντροπία
 Δεσμευμένη εντροπία
 Ιδιότητες εντροπίας
 Σχετική Εντροπία
 Αμοιβαία πληροφορία
 Ρυθμός εντροπίας

53