Πρόσφατες εξελίξεις στη μαθηματική

θεωρία της επικοινωνίας

Γουώρεν Γουίβερ
1. Εισαγωγικό σημείωμα για το γενικό πλαίσιο των μελετών αναλυτικής
επικοινωνίας1

1.1 Επικοινωνία

Η λέξη «επικοινωνία» θα χρησιμοποιηθεί εδώ με μια πολύ ευρεία έννοια, για να συμπεριλάβει
όλες τις διαδικασίες με τις οποίες ένα μυαλό μπορεί να επηρεάσει ένα άλλο. Αυτό φυσικά δεν
αφορά μόνο τον γραπτό και προφορικό λόγο, αλλά και τη μουσική, τις εικαστικές τέχνες, το
θέατρο, το μπαλέτο, και μάλιστα όλη την ανθρώπινη συμπεριφορά. Σε ορισμένες περιπτώσεις
μπορεί να είναι επιθυμητό να χρησιμοποιηθεί ένας ακόμη ευρύτερος ορισμός της επικοινωνίας,
δηλαδή, ένας ορισμός που θα περιλαμβάνει τις διαδικασίες μέσω των οποίων ένας μηχανισμός
(π.χ. ο αυτόματος εξοπλισμός για την παρακολούθηση ενός αεροπλάνου και τον υπολογισμό των
πιθανών μελλοντικών θέσεων του) επηρεάζει έναν άλλο μηχανισμό (π.χ. ένας κατευθυνόμενος
πύραυλος που κυνηγά αυτό το αεροπλάνο).

Η γλώσσα αυτού του κειμένου συχνά θα φαίνεται να αναφέρεται στο ειδικό, αλλά ακόμα πολύ
ευρύ και σημαντικό, πεδίο επικοινωνίας του λόγου˙ αλλά πρακτικά όλα όσα θα λεχθούν ισχύουν
εξίσου καλά για τη μουσική κάθε είδους, και για τις ακίνητες ή κινούμενες εικόνες, όπως στην
τηλεόραση.

1.2 Τρία επίπεδα προβλημάτων επικοινωνίας

Σε σχέση με το ευρύ αντικείμενο της επικοινωνίας, φαίνεται να υπάρχουν προβλήματα σε τρία

επίπεδα. Επομένως, φαίνεται εύλογο να αναρωτηθεί κανείς, με τη σειρά:

Επίπεδο Α: Με πόση ακρίβεια μπορούν να μεταδοθούν τα σύμβολα επικοινωνίας; (Το τεχνικό

πρόβλημα.)
Επίπεδο Β: Πώς ακριβώς μεταδίδουν τα μεταδιδόμενα σύμβολα το επιθυμητό νόημα; (Το
σημασιολογικό πρόβλημα.)

3
Επίπεδο Γ: Πόσο αποτελεσματικά επηρεάζει το ληφθέν νόημα τη συμπεριφορά με τον
επιθυμητό τρόπο; (Το πρόβλημα της αποτελεσματικότητας.)

Τα τεχνικά προβλήματα αφορούν την ακρίβεια της μεταφοράς από τον αποστολέα στον δέκτη
συνόλων συμβόλων (γραπτός λόγος), ή ενός συνεχώς μεταβαλλόμενου σήματος (τηλεφωνική ή
ραδιοφωνική μετάδοση φωνής ή μουσικής), ή ενός συνεχώς μεταβαλλόμενου δισδιάστατου
μοτίβου (τηλεόραση), κ.λπ. Μαθηματικά, η πρώτη περίπτωση περιλαμβάνει τη μετάδοση ενός
πεπερασμένου συνόλου διακριτών συμβόλων, η δεύτερη περίπτωση τη μετάδοση μιας συνεχούς
συνάρτησης του χρόνου, και η τρίτη περίπτωση τη μετάδοση πολλών συνεχών συναρτήσεων του
χρόνου, ή μιας συνεχούς συνάρτησης του χρόνου και δύο χωρικών συντεταγμένων.

Τα σημασιολογικά προβλήματα αφορούν την ταυτότητα, ή την ικανοποιητικά στενή

προσέγγιση, στην ερμηνεία του νοήματος από τον δέκτη, σε σύγκριση με το επιδιωκόμενο
νόημα του αποστολέα. Αυτή είναι μια πολύ λεπτή κατάσταση που θέλει προσοχή, ακόμη και
όταν κάποιος ασχολείται μόνο με τα σχετικά απλούστερα προβλήματα της επικοινωνίας μέσω
του λόγου.

Μια ουσιαστική επιπλοκή φαίνεται από την παρατήρηση ότι εάν ο κ. Χ φαίνεται ότι δεν
κατανοεί τι λέει ο κ. Υ, τότε θεωρητικά δεν είναι δυνατό, αφού ο κ. Υ δεν κάνει τίποτα άλλο
παρά να μιλάει περισσότερο με τον κ. Χ, να διευκρινιστεί πλήρως αυτή η κατάσταση σε
οποιοδήποτε πεπερασμένο χρόνο. Αν ο κ. Υ ρωτήσει «Με καταλαβαίνετε τώρα;» και ο κ. Χ
απαντήσει «Βεβαίως,» αυτό δεν είναι απαραίτητα μια πιστοποίηση ότι έχει επιτευχθεί η
συνεννόηση. Μπορεί απλώς ο κ. Χ να μην κατάλαβε την ερώτηση. Αν αυτό ακούγεται αστείο,
δοκιμάστε να ρωτήσετε ξανά «Czy pan mnie rozumie?» λαμβάνοντας την απάντηση «Hai
wakkate imasu.» Νομίζω ότι αυτή η βασική δυσκολία 2 μειώνεται, τουλάχιστον στο περιορισμένο
πεδίο της προφορικής επικοινωνίας, σε ανεκτό μέγεθος (αλλά ποτέ δεν εξαλείφεται τελείως) με
«επεξηγήσεις,» οι οποίες (α) πιθανώς δεν είναι ποτέ κάτι περισσότερο από προσεγγίσεις των
ιδεών που εξηγούνται, αλλά οι οποίες (β) είναι κατανοητές εφόσον έχουν διατυπωθεί σε γλώσσα
που προηγουμένως είχε γίνει εύλογα σαφής με λειτουργικά μέσα. Για παράδειγμα, δεν
χρειάζεται πολύς χρόνος για να γίνει το σύμβολο του «ναι» σε οποιαδήποτε γλώσσα λειτουργικά
κατανοητό.

4
Τα προβλήματα αποτελεσματικότητας αφορούν την επιτυχία με την οποία το νόημα που
μεταδίδεται στον δέκτη οδηγεί στην επιθυμητή συμπεριφορά από την πλευρά του. Μπορεί με
την πρώτη ματιά να φαίνεται ανεπιθύμητα ρηχό να υπονοηθεί ότι σκοπός κάθε επικοινωνίας
είναι να επηρεάσει τη συμπεριφορά του δέκτη. Αλλά με οποιονδήποτε εύλογα ευρύ ορισμό της
συμπεριφοράς, είναι σαφές ότι η επικοινωνία είτε επηρεάζει τη συμπεριφορά είτε δεν έχει καμία
διακριτή και πιθανή επίδραση.

Το πρόβλημα της αποτελεσματικότητας περιλαμβάνει θέματα αισθητικής στην περίπτωση των

καλών τεχνών. Στην περίπτωση του λόγου, γραπτού ή προφορικού, περιλαμβάνει ζητήματα που
κυμαίνονται από την απλή μηχανική του ύφους, μέσα από όλες τις ψυχολογικές και
συναισθηματικές πτυχές της θεωρίας της προπαγάνδας, έως εκείνες τις αξιολογικές κρίσεις που
είναι απαραίτητες για να δώσουν χρήσιμο νόημα στις λέξεις «επιτυχία» και «επιθυμητή» στην
αρχική πρόταση αυτής της ενότητας σχετικά με την αποτελεσματικότητα.

Το πρόβλημα της αποτελεσματικότητας συνδέεται στενά με το σημασιολογικό πρόβλημα, και το

επικαλύπτει με μάλλον αόριστο τρόπο˙ και στην πραγματικότητα υπάρχει επικάλυψη μεταξύ
όλων των προτεινόμενων κατηγοριών προβλημάτων.

1.3 Σχόλια

Όπως αναφέρθηκε, κάποιος θα είχε την τάση να πιστεύει ότι το Επίπεδο Α είναι σχετικά
επιφανειακό, περιλαμβάνοντας μόνο τις μηχανικές λεπτομέρειες του καλού σχεδιασμού ενός
συστήματος επικοινωνίας˙ ενώ τα επίπεδα Β και Γ φαίνεται να περιέχουν το μεγαλύτερο, αν όχι
όλο, το φιλοσοφικό περιεχόμενο του γενικού προβλήματος της επικοινωνίας.

Η μαθηματική θεωρία των μηχανικών πτυχών της επικοινωνίας, όπως αναπτύχθηκε κυρίως από
τον Κλωντ Σάννον στα Bell Telephone Laboratories, ισχύει κατά γενική ομολογία μόνο στο
Επίπεδο Α, δηλαδή στο τεχνικό πρόβλημα της ακρίβειας της μεταφοράς διαφόρων τύπων
σημάτων από τον αποστολέα στον δέκτη. Αλλά η θεωρία έχει, νομίζω, μια βαθιά σημασία που
αποδεικνύει ότι η προηγούμενη παράγραφος είναι σοβαρά ανακριβής. Μέρος της σημασίας της

5
νέας θεωρίας προέρχεται από το γεγονός ότι τα επίπεδα Β και Γ, παραπάνω, μπορούν να
χρησιμοποιήσουν μόνο εκείνες τις ακρίβειες σήματος που αποδεικνύονται δυνατές όταν
αναλύονται στο Επίπεδο Α. Επομένως, τυχόν περιορισμοί που ανακαλύφθηκαν στη θεωρία στο
Επίπεδο Α αναγκαστικά ισχύουν για τα επίπεδα Β και Γ. Αλλά ένα μεγαλύτερο μέρος της
σημασίας προέρχεται από το γεγονός ότι η ανάλυση στο Επίπεδο Α αποκαλύπτει ότι αυτό το
επίπεδο επικαλύπτει τα άλλα επίπεδα περισσότερο από όσο θα μπορούσε κανείς αφελώς να
υποψιαστεί. Έτσι, η θεωρία του επιπέδου Α είναι, τουλάχιστον σε σημαντικό βαθμό, και μια
θεωρία των επιπέδων Β και Γ. Ελπίζω ότι τα επόμενα μέρη αυτού του κειμένου θα φωτίσουν και
θα δικαιολογήσουν αυτές τις τελευταίες παρατηρήσεις.

2. Προβλήματα επικοινωνίας στο επίπεδο Α

2.1. Ένα σύστημα επικοινωνίας και τα προβλήματά του

Το εξεταζόμενο σύστημα επικοινωνίας μπορεί να αναπαρασταθεί συμβολικά ως εξής:

Η πηγή πληροφοριών επιλέγει ένα επιθυμητό μήνυμα από ένα σύνολο πιθανών μηνυμάτων
(αυτή είναι μια ιδιαίτερα σημαντική παρατήρηση, η οποία απαιτεί σημαντική εξήγηση
αργότερα). Το επιλεγμένο μήνυμα μπορεί να αποτελείται από γραπτές ή προφορικές λέξεις, ή
από εικόνες, μουσική κ.λπ.

6
Ο πομπός αλλάζει αυτό το μήνυμα σε σήμα, το οποίο αποστέλλεται στην πραγματικότητα μέσω
του καναλιού επικοινωνίας από τον πομπό στον δέκτη. Στην περίπτωση της τηλεφωνίας, το
κανάλι είναι ένα καλώδιο, το σήμα ένα μεταβαλλόμενο ηλεκτρικό ρεύμα σε αυτό το καλώδιο˙ ο
πομπός είναι το σύνολο των συσκευών (τηλεφωνικός πομπός κ.λπ.) που μεταβάλλουν την
ηχητική πίεση της φωνής στο μεταβαλλόμενο ηλεκτρικό ρεύμα. Στην τηλεγραφία, ο πομπός
κωδικοποιεί γραπτές λέξεις σε ακολουθίες διακεκομμένων ρευμάτων ποικίλου μήκους
(κουκκίδες, παύλες, κενά). Στην προφορική ομιλία, η πηγή πληροφοριών είναι ο εγκέφαλος, ο
πομπός είναι ο φωνητικός μηχανισμός που παράγει τη μεταβαλλόμενη ηχητική πίεση (το σήμα)
που μεταδίδεται μέσω του αέρα (το κανάλι). Στο ραδιόφωνο, το κανάλι είναι απλώς το διάστημα
(ή ο αιθέρας, αν κάποιος προτιμά αυτή την απαρχαιωμένη και παραπλανητική λέξη), και το
σήμα είναι το ηλεκτρομαγνητικό κύμα που μεταδίδεται.

Ο δέκτης είναι ένα είδος αντίστροφου πομπού, που μετατρέπει το μεταδιδόμενο σήμα ξανά σε
μήνυμα, και συνδέει αυτό το μήνυμα στον προορισμό. Όταν σας μιλάω, ο εγκέφαλός μου είναι η
πηγή πληροφοριών, ο δικός σας εγκέφαλος είναι ο προορισμός. Το φωνητικό μου σύστημα είναι
ο πομπός, και το αυτί σας και το όγδοο κρανιακό νεύρο είναι ο δέκτης.

Κατά τη διαδικασία της μετάδοσης, είναι δυστυχώς χαρακτηριστικό ότι στο σήμα προστίθενται
ορισμένα πράγματα που δεν προορίζονταν από την πηγή πληροφοριών. Αυτές οι ανεπιθύμητες
προσθήκες μπορεί να είναι παραμορφώσεις του ήχου (στην τηλεφωνία, για παράδειγμα) ή
στατικές (στο ραδιόφωνο), ή παραμορφώσεις στο σχήμα ή τη σκίαση της εικόνας (τηλεόραση),
ή σφάλματα στη μετάδοση (τηλεγραφία ή φαξ) κ.λπ. Όλες αυτές οι αλλαγές στο μεταδιδόμενο
σήμα ονομάζονται «θόρυβος.»

Το είδος των ερωτήσεων που κάποιος θα μπορούσε να ρωτήσει σχετικά με ένα τέτοιο σύστημα
επικοινωνίας είναι:

α) Πώς μετράει κανείς την ποσότητα των πληροφοριών;

β) Πώς μετράει κανείς τη χωρητικότητα ενός καναλιού επικοινωνίας;
γ) Η δράση του πομπού στην αλλαγή του μηνύματος σε σήμα συχνά περιλαμβάνει μια
διαδικασία κωδικοποίησης. Ποια είναι τα χαρακτηριστικά μιας αποτελεσματικής διαδικασίας

7
κωδικοποίησης; Και όταν η κωδικοποίηση είναι όσο το δυνατόν πιο αποτελεσματική, με ποιο
ρυθμό μπορεί το κανάλι να μεταφέρει πληροφορίες;
δ) Ποια είναι τα γενικά χαρακτηριστικά του θορύβου; Πώς επηρεάζει ο θόρυβος την ακρίβεια
του μηνύματος που τελικά λαμβάνεται στον προορισμό; Πώς μπορεί κανείς να ελαχιστοποιήσει
τις ανεπιθύμητες συνέπειες του θορύβου, και σε ποιο βαθμό μπορούν αυτές να εξαλειφθούν;
ε) Εάν το σήμα που εκπέμπεται είναι συνεχές (όπως στον προφορικό λόγο ή τη μουσική) αντί να
αποτελείται από διακριτά σύμβολα (όπως στον γραπτό λόγο, την τηλεγραφία κ.λπ.), πώς
επηρεάζει αυτό το γεγονός το πρόβλημα;

Θα αναφέρουμε τώρα, χωρίς αποδείξεις και με ελάχιστη μαθηματική ορολογία, τα κύρια

αποτελέσματα που έλαβε ο Σάννον.

2.2. Πληροφορία

Η λέξη «πληροφορία,» σε αυτή τη θεωρία, χρησιμοποιείται με ειδική έννοια που δεν πρέπει να
συγχέεται με τη συνήθη χρήση της. Ειδικότερα, η πληροφορία δεν πρέπει να συγχέεται με το
νόημα.

Στην πραγματικότητα, δύο μηνύματα, από τα οποία το ένα είναι γεμάτο νόημα και το άλλο είναι
σκέτη ανοησία, μπορεί να είναι ακριβώς ισοδύναμα, από την παρούσα σκοπιά, όσον αφορά την
πληροφορία. Αυτό είναι, αναμφίβολα, που εννοεί ο Σάννον όταν λέει ότι «οι σημασιολογικές
πτυχές της επικοινωνίας είναι άσχετες με τις μηχανικές πτυχές.» Αλλά αυτό δεν σημαίνει ότι οι
πτυχές της μηχανικής είναι απαραίτητα άσχετες με τις σημασιολογικές πτυχές.

Στην πραγματικότητα, αυτή η λέξη «πληροφορία» στη θεωρία της επικοινωνίας, δεν σχετίζεται
τόσο με αυτό που λέμε, όσο με αυτό που θα μπορούσαμε να πούμε. Δηλαδή, η πληροφορία είναι
ένα μέτρο της ελευθερίας επιλογής κάποιου όταν επιλέγει ένα μήνυμα. Αν κάποιος βρεθεί
αντιμέτωπος με μια πολύ στοιχειώδη κατάσταση όπου πρέπει να επιλέξει ένα από τα δύο
εναλλακτικά μηνύματα, τότε αυθαίρετα λέγεται ότι η πληροφορία, που συνδέεται με αυτήν την
κατάσταση, είναι ίση με τη μονάδα. Σημειώστε ότι είναι παραπλανητικό (αν και συχνά βολικό)
να πούμε ότι το ένα ή το άλλο μήνυμα μεταφέρει μοναδιαία πληροφορία. Η έννοια της

8
πληροφορίας δεν ισχύει για τα μεμονωμένα μηνύματα (όπως θα ίσχυε για την έννοια του
νοήματος), αλλά για την κατάσταση στο σύνολό της, με τη μοναδιαία πληροφορία να
υποδεικνύει ότι σε αυτήν την περίπτωση κάποιος έχει μια ποσότητα ελευθερίας επιλογής, κατά
την επιλογή ενός μηνύματος, και είναι βολικό να θεωρηθεί μια πρότυπη ή μοναδιαία ποσότητα.

Τα δύο μηνύματα μεταξύ των οποίων πρέπει να επιλέξει κανείς, σε μια τέτοια επιλογή, μπορεί
να είναι οποιαδήποτε. Το ένα μπορεί να είναι η αγγλική έκδοση της Βίβλου, και το άλλο μπορεί
να είναι «Yes.» Ο πομπός μπορεί να κωδικοποιήσει αυτά τα δύο μηνύματα έτσι ώστε το
«μηδέν» να είναι το σήμα για το πρώτο μήνυμα, και το «ένα» να είναι το σήμα για το δεύτερο
μήνυμα˙ ή έτσι ώστε ένα κλειστό κύκλωμα (ρεύμα που ρέει) να είναι το σήμα για το πρώτο
μήνυμα, και ένα ανοιχτό κύκλωμα (ρεύμα που δεν ρέει) να είναι το σήμα για το δεύτερο μήνυμα.
Έτσι οι δύο θέσεις, «on» και «off,» ενός απλού ηλεκτρονόμου, μπορεί να αντιστοιχούν στα δύο
μηνύματα.

Για να είμαστε κάπως πιο σαφείς, η ποσότητα της πληροφορίας ορίζεται, στην απλούστερη
περίπτωση, να μετρείται με τον λογάριθμο του αριθμού των διαθέσιμων επιλογών. Καθώς είναι
βολικό να χρησιμοποιείται ο δυαδικός λογάριθμος 3 (με βάση το 2), αντί για τον φυσικό ή τον
δεκαδικό λογάριθμο (με βάση το e ή το 10 αντίστοιχα), η πληροφορία, όταν υπάρχουν μόνο δύο
επιλογές, είναι ανάλογη με τον δυαδικό λογάριθμο του 2. Αλλά αυτό ισούται με 1˙ έτσι ώστε μια
κατάσταση δύο επιλογών να χαρακτηρίζεται από μοναδιαία πληροφορία, όπως έχει ήδη
αναφερθεί παραπάνω. Αυτή η μονάδα πληροφορίας ονομάζεται «μπιτ» («bit»), και αυτή η λέξη,
η οποία προτάθηκε για πρώτη φορά από τον John W. Tukey, είναι μια συντομογραφία του
«δυαδικού ψηφίου» («binary digit»). Όταν οι αριθμοί εκφράζονται στο δυαδικό σύστημα,
υπάρχουν μόνο δύο ψηφία, δηλαδή 0 και 1˙ όπως ακριβώς χρησιμοποιούνται δέκα ψηφία, από
το 0 έως το 9, στο δεκαδικό αριθμητικό σύστημα, το οποίο χρησιμοποιεί το 10 ως βάση. Το
μηδέν και το ένα μπορούν να ληφθούν συμβολικά για να αντιπροσωπεύουν οποιεσδήποτε δύο
επιλογές, όπως σημειώθηκε παραπάνω, έτσι ώστε το «δυαδικό ψηφίο,» ή «bit» είναι φυσικό να
συσχετιστεί με την κατάσταση δύο επιλογών, η οποία περιέχει μια μονάδα πληροφορίας.

9
Εάν κάποιος έχει διαθέσιμα ας πούμε 16 εναλλακτικά μηνύματα, μεταξύ των οποίων μπορεί
εξίσου ελεύθερα να επιλέξει, τότε εφόσον 16=24, έτσι ώστε log216=4, μπορούμε να πούμε ότι
αυτή η κατάσταση χαρακτηρίζεται από 4 μπιτ πληροφορίας.

Αναμφίβολα φαίνεται περίεργο, όταν κάποιος τo συναντά για πρώτη φορά, ότι η πληροφορία
ορίζεται ως ο λογάριθμος του αριθμού των επιλογών. Αλλά στο ξεδίπλωμα της θεωρίας, γίνεται
όλο και πιο προφανές ότι τα λογαριθμικά μέτρα είναι στην πραγματικότητα τα πιο φυσικά. Προς
το παρόν, θα δοθεί μόνο μία ένδειξη για αυτό. Αναφέρθηκε παραπάνω ότι ένας απλός
ηλεκτρονόμος ενεργοποίησης ή απενεργοποίησης, με τις δύο θέσεις του να σημαίνονται, ας
πούμε, 0 και 1 αντίστοιχα, μπορεί να χειριστεί μια κατάσταση μοναδιαίας πληροφορίας, στην
οποία υπάρχουν μόνο δύο επιλογές μηνυμάτων. Εάν ένας ηλεκτρονόμος μπορεί να χειριστεί
μοναδιαία πληροφορία, πόση πληροφορία μπορούν να χειριστούν ας πούμε τρεις ηλεκτρονόμοι;
Φαίνεται πολύ λογικό να πούμε ότι τρεις ηλεκτρονόμοι θα μπορούσαν να χειριστούν τρεις φορές
περισσότερες πληροφορίες από έναν ηλεκτρονόμο. Και αυτό πράγματι συμβαίνει εάν κάποιος
χρησιμοποιήσει τον λογαριθμικό ορισμό της πληροφορίας. Καθώς τρεις ηλεκτρονόμοι είναι
ικανοί να ανταποκριθούν σε 2 3, ή 8, επιλογές, οι οποίες συμβολικά θα μπορούσαν να γραφτούν
ως 000, 001, 011, 010, 100, 110, 101, 111, στην πρώτη από τις οποίες και οι τρεις ηλεκτρονόμοι
είναι ανοιχτοί, ενώ στην τελευταία και οι τρεις ηλεκτρονόμοι είναι κλειστοί. Και καθώς ο
δυαδικός λογάριθμος 23 είναι 3, το λογαριθμικό μέτρο αντιστοιχίζει τρεις μονάδες πληροφορίας
σε αυτήν την κατάσταση, όπως ακριβώς θα ήθελε κανείς. Ομοίως, ο διπλασιασμός του
διαθέσιμου χρόνου τετραγωνίζει τον αριθμό των πιθανών μηνυμάτων, και διπλασιάζει τον
λογάριθμο˙ και ως εκ τούτου διπλασιάζει την πληροφορία, εάν αυτή μετρηθεί λογαριθμικά.

Οι παρατηρήσεις μέχρι στιγμής σχετίζονται με τεχνητά απλές καταστάσεις όπου η πηγή

πληροφοριών είναι ελεύθερη να επιλέξει μόνο μεταξύ πολλών ορισμένων μηνυμάτων- όπως
κάποιος που διαλέγει ένα από ένα σύνολο τυπικών τηλεγραφημάτων ευχών γενεθλίων. Μια πιο
φυσική και πιο σημαντική κατάσταση είναι αυτή στην οποία οι πηγή πληροφοριών κάνει μια
ακολουθία επιλογών από κάποιο σύνολο στοιχειωδών συμβόλων, ενώ η επιλεγμένη ακολουθία
στη συνέχεια σχηματίζει το μήνυμα. Έτσι, κάποιος μπορεί να διαλέξει τη μια λέξη μετά την
άλλη, ενώ αυτές οι μεμονωμένα επιλεγμένες λέξεις αθροίζονται για να σχηματίσουν το μήνυμα.

10
Σε αυτό το σημείο, μια σημαντική παράμετρος έρχεται στο προσκήνιο. Δηλαδή, ο ρόλος που
παίζει η πιθανότητα στη δημιουργία του μηνύματος. Καθώς επιλέγονται τα διαδοχικά σύμβολα,
αυτές οι επιλογές, τουλάχιστον από την άποψη του συστήματος επικοινωνίας, διέπονται από
πιθανότητες˙ και στην πραγματικότητα αυτές οι πιθανότητες δεν είναι ανεξάρτητες, αλλά, σε
οποιοδήποτε στάδιο της διαδικασίας, εξαρτώνται από τις προηγούμενες επιλογές. Έτσι, εάν
ασχοληθούμε με την αγγλική γλώσσα, και εάν το τελευταίο σύμβολο που επιλέχθηκε είναι η
λέξη «the,» τότε η πιθανότητα η επόμενη λέξη να είναι ένα άρθρο, ή ρηματικός τύπος εκτός από
μετοχή, είναι πολύ μικρή. Αυτή η πιθανολογική επιρροή εκτείνεται σε περισσότερες από δύο
λέξεις, στην πραγματικότητα. Μετά τις τρεις λέξεις «in the event,» η πιθανότητα να
ακολουθήσει η λέξη «that» είναι αρκετά μεγάλη, ενώ η πιθανότητα να ακολουθήσει η λέξη
«ελέφαντας» είναι πολύ μικρή.

Το ότι υπάρχουν πιθανότητες που ασκούν έναν ορισμένο βαθμό ελέγχου στην αγγλική γλώσσα
γίνεται επίσης προφανές αν σκεφτεί κανείς, για παράδειγμα, το γεγονός ότι σε αυτή τη γλώσσα
το λεξικό δεν περιέχει καμία λέξη στην οποία το αρχικό γράμμα j να ακολουθείται από b, c , d, f,
g, j, k, l, q, r, t, v, w, x, ή z˙ έτσι ώστε η πιθανότητα να είναι στην πραγματικότητα μηδέν ένα
αρχικό j να ακολουθείται από κάποιο από αυτά τα γράμματα. Ομοίως, οποιοσδήποτε θα
συμφωνούσε ότι η πιθανότητα είναι μικρή για μια τέτοια ακολουθία λέξεων όπως
«Κωνσταντινούπολη ψαρεύοντας άσχημο ροζ.» Παρεμπιπτόντως, η πιθανότητα είναι μικρή,
αλλά όχι μηδενική˙ γιατί είναι απολύτως δυνατό να σκεφτούμε ένα απόσπασμα στο οποίο μια
φράση να τελειώνει στο «Κωνσταντινούπολη ψαρεύοντας,» και η επόμενη να αρχίζει με το
«Άσχημο ροζ.» Και θα μπορούσαμε να παρατηρήσουμε ακόμη ότι η απίθανη ακολουθία
τεσσάρων λέξεων που συζητείται παραπάνω έχει όντως εμφανιστεί σε μία μόνο περίπτωση,
δηλαδή στην παραπάνω.

Ένα σύστημα που παράγει μια ακολουθία συμβόλων (που μπορεί, φυσικά, να είναι γράμματα ή
μουσικές νότες, ας πούμε, αντί για λέξεις) σύμφωνα με ορισμένες πιθανότητες, ονομάζεται
στοχαστική διαδικασία, και η ειδική περίπτωση μιας στοχαστικής διαδικασίας στην οποία οι
πιθανότητες εξαρτώνται από τα προηγούμενα γεγονότα, ονομάζεται διεργασία, ή αλυσίδα,
Μάρκοφ. Από τις διεργασίες Μάρκοφ που ενδέχεται να δημιουργήσουν μηνύματα, υπάρχει μια
ειδική κατηγορία που είναι πρωταρχικής σημασίας για τη θεωρία της επικοινωνίας, αυτή στην

11
οποία ανήκουν οι λεγόμενες εργοδικές διαδικασίες. Οι αναλυτικές λεπτομέρειες και ο σχετικός
συλλογισμός εδώ είναι τόσο περίπλοκος, ώστε χρειάστηκαν οι μεγαλύτερες προσπάθειες των
καλύτερων μαθηματικών για να δημιουργηθεί η σχετική θεωρία˙ αλλά η γενική φύση μιας
εργοδικής διαδικασίας είναι εύκολα κατανοητή. Είναι ένα δείγμα που παράγει μια ακολουθία
συμβόλων που θα ήταν το όνειρο κάθε δειγματολήπτη, επειδή οποιοδήποτε λογικά μεγάλο
δείγμα τείνει να είναι αντιπροσωπευτικό της ακολουθίας στο σύνολό της. Ας υποθέσουμε ότι
δύο άτομα επιλέγουν δείγματα με διαφορετικούς τρόπους, και μελετούν ποιες τάσεις δείχνουν οι
στατιστικές ιδιότητες των δειγμάτων, καθώς αυτά γίνονται μεγαλύτερα. Εάν η κατάσταση είναι
εργοδική, τότε αυτά τα δύο άτομα, όπως κι αν έχουν επιλέξει τα δείγματά τους, συμφωνούν στις
εκτιμήσεις τους για τις ιδιότητες του συνόλου. Τα εργοδικά συστήματα, με άλλα λόγια,
παρουσιάζουν ένα ιδιαίτερα ασφαλές και ανακουφιστικό είδος στατιστικής κανονικότητας.

Τώρα ας επιστρέψουμε στην ιδέα της πληροφορίας. Όταν έχουμε μια πηγή πληροφοριών που
παράγει ένα μήνυμα επιλέγοντας διαδοχικά διακριτά σύμβολα (γράμματα, λέξεις, μουσικές
νότες, σημεία συγκεκριμένου μεγέθους, κ.λπ.), και η πιθανότητα επιλογής των διαφόρων
συμβόλων σε ένα στάδιο της διαδικασίας εξαρτάται από τις προηγούμενες επιλογές (δηλ., μια
διαδικασία Μάρκοφ), τότε τι γίνεται με τις πληροφορίες που σχετίζονται με αυτήν τη
διαδικασία;

Η ποσότητα που ανταποκρίνεται μοναδικά στις φυσικές απαιτήσεις που θέτει κανείς για την
«πληροφορία,» αποδεικνύεται ότι είναι ακριβώς αυτή που είναι γνωστή στη θερμοδυναμική ως
εντροπία. Εκφράζεται ως προς τις διάφορες πιθανότητες που εμπλέκονται σε ορισμένα στάδια
στη διαδικασία σχηματισμού μηνυμάτων, καθώς και τις πιθανότητες, όταν φτάσουμε σε αυτά τα
στάδια, να επιλεγούν στη συνέχεια ορισμένα σύμβολα. Ο μαθηματικός τύπος, επιπλέον,
περιλαμβάνει τον λογάριθμο των πιθανοτήτων, έτσι ώστε να είναι μια φυσική γενίκευση του
λογαριθμικού μέτρου που αναφέρθηκε παραπάνω σε σχέση με απλές περιπτώσεις.

Για όσους έχουν σπουδάσει τις φυσικές επιστήμες, είναι πολύ σημαντικό ότι μια έκφραση που
μοιάζει με εντροπία εμφανίζεται στη θεωρία ως μέτρο της πληροφορίας. Η εντροπία, έχοντας
εισαχθεί από τον Κλαούσιους πριν από σχεδόν εκατό χρόνια, όντας στενά συνδεδεμένη με τον
Μπόλτζμαν, και έχοντας αποκτήσει ένα βαθύ νόημα από τον Γκιμπς στο κλασικό έργο του για

12
τη στατιστική μηχανική, έχει αποκτήσει μια τόσο βασική και διάχυτη έννοια, ώστε ο Έντινγκτον
παρατηρεί: «Ο νόμος ότι η εντροπία πάντα αυξάνεται- ο δεύτερος νόμος της θερμοδυναμικής-
κατέχει, νομίζω, την υπέρτατη θέση μεταξύ των νόμων της Φύσης.»

Στις φυσικές επιστήμες, η εντροπία που σχετίζεται με μια κατάσταση είναι ένα μέτρο του
βαθμού της τυχαιότητας, ή της «ακαταστασίας» αν θέλετε, σε αυτήν την κατάσταση˙ και η τάση
των φυσικών συστημάτων να γίνονται όλο και λιγότερο οργανωμένα, να ανακατεύονται ολοένα
και περισσότερο, είναι τόσο βασική ώστε ο Έντινγκτον υποστηρίζει ότι είναι πρωτίστως αυτή η
τάση που δίνει στον χρόνο το βέλος του- που θα μας αποκάλυπτε, για παράδειγμα, αν μια ταινία
του φυσικού κόσμου προβάλλεται προς τα εμπρός ή προς τα πίσω.

Έτσι, όταν κάποιος συναντά την έννοια της εντροπίας στη θεωρία της επικοινωνίας, έχει το
δικαίωμα να είναι μάλλον ενθουσιασμένος, το δικαίωμα να υποψιάζεται ότι κατέχει κάτι που
μπορεί να αποδειχθεί βασικό και σημαντικό. Το ότι οι πληροφορίες μετρώνται με εντροπία είναι,
σε τελική ανάλυση, φυσικό όταν θυμόμαστε ότι η πληροφορία, στη θεωρία της επικοινωνίας,
σχετίζεται με την ποσότητα της ελευθερίας επιλογής που έχουμε κατά την κατασκευή των
μηνυμάτων. Έτσι, για μια πηγή επικοινωνίας μπορεί κανείς να πει, όπως θα έλεγε και για ένα
θερμοδυναμικό σύνολο, «Αυτή η κατάσταση είναι εξαιρετικά οργανωμένη, δεν χαρακτηρίζεται
από μεγάλο βαθμό τυχαιότητας ή ελευθερίας επιλογής- δηλαδή η πληροφορία (ή η εντροπία)
είναι μικρή.» Θα επανέλθουμε σε αυτό το σημείο αργότερα, γιατί, εκτός και αν κάνω μεγάλο
λάθος, είναι μια σημαντική πτυχή της γενικότερης σημασίας αυτής της θεωρίας.

Έχοντας υπολογίσει την εντροπία (ή τις πληροφορίες ή την ελευθερία επιλογής) μιας
συγκεκριμένης πηγής πληροφοριών, μπορεί κανείς να τη συγκρίνει με τη μέγιστη τιμή που θα
μπορούσε να έχει αυτή η εντροπία, υπό τον όρο ότι η πηγή συνεχίζει να χρησιμοποιεί τα ίδια
σύμβολα. Ο λόγος της πραγματικής προς τη μέγιστη εντροπία ονομάζεται σχετική εντροπία της
πηγής. Εάν η σχετική εντροπία μιας συγκεκριμένης πηγής είναι, ας πούμε, 0,8, αυτό σημαίνει
χονδρικά ότι αυτή η πηγή είναι, στην επιλογή των συμβόλων για να σχηματίσει ένα μήνυμα, 80
τοις εκατό ελεύθερη απ’ όσο θα μπορούσε να είναι με αυτά τα ίδια σύμβολα. Το ένα μείον τη
σχετική εντροπία ονομάζεται πλεονασμός (redundancy). Αυτό είναι το μέρος της δομής του
μηνύματος που καθορίζεται όχι από την ελεύθερη επιλογή του αποστολέα, αλλά από τους

13
αποδεκτούς στατιστικούς κανόνες που διέπουν τη χρήση των εν λόγω συμβόλων. Ονομάζεται
εύλογα πλεονασμός, γιατί αυτό το μέρος του μηνύματος πλεονάζει, με τη συνηθισμένη έννοια
της λέξης. Δηλαδή, αυτό το τμήμα του μηνύματος είναι περιττό (και επομένως
επαναλαμβανόμενο ή πλεονάζον), με την έννοια ότι, ακόμα κι αν έλειπε, το μήνυμα θα ήταν
ουσιαστικά πλήρες, ή τουλάχιστον θα μπορούσε να ολοκληρωθεί.

Είναι πολύ ενδιαφέρον να σημειωθεί ότι ο πλεονασμός στα αγγλικά είναι μόλις περίπου 50 τοις
εκατό,4 έτσι ώστε περίπου τα μισά από τα γράμματα ή τις λέξεις που επιλέγουμε γραπτώς ή
προφορικά είναι υπό την ελεύθερη επιλογή μας, και περίπου τα άλλα μισά (αν και συνήθως δεν
το καταλαβαίνουμε) ελέγχονται πραγματικά από τη στατιστική δομή της γλώσσας.

Εκτός από πιο σοβαρές συνέπειες, τις οποίες και πάλι θα αφήσουμε για την τελική μας
συζήτηση, είναι ενδιαφέρον να σημειωθεί ότι μια γλώσσα πρέπει να έχει τουλάχιστον το 50 τοις
εκατό πραγματική ελευθερία (ή σχετική εντροπία) στην επιλογή των γραμμάτων για να μπορούν
να κατασκευαστούν ικανοποιητικά σταυρόλεξα. Αν έχει απόλυτη ελευθερία, τότε κάθε σειρά
γραμμάτων είναι ένα σταυρόλεξο. Εάν έχει μόνο το 20 τοις εκατό της ελευθερίας, τότε θα ήταν
αδύνατο να κατασκευαστούν σταυρόλεξα με τέτοιο βαθμό πολυπλοκότητας που θα έκαναν το
παιχνίδι δημοφιλές. Ο Σάννον έχει υπολογίσει ότι εάν η αγγλική γλώσσα είχε μόνο περίπου 30
τοις εκατό πλεονασμό, τότε θα ήταν δυνατή η κατασκευή τρισδιάστατων σταυρόλεξων.

Πριν κλείσουμε αυτήν την ενότητα σχετικά με τις πληροφορίες, θα πρέπει να σημειωθεί ότι ο
πραγματικός λόγος που η ανάλυση επιπέδου Α ασχολείται με μια έννοια πληροφοριών που
χαρακτηρίζει ολόκληρη τη στατιστική φύση της πηγής πληροφοριών, και δεν αφορά τα
μεμονωμένα μηνύματα (και άμεσα δεν αφορά καθόλου την έννοια των επιμέρους μηνυμάτων),
είναι ότι από τη σκοπιά της μηχανικής ένα σύστημα επικοινωνίας πρέπει να αντιμετωπίσει το
πρόβλημα χειρισμού οποιουδήποτε μηνύματος μπορεί να παράγει η πηγή. Εάν δεν είναι δυνατό
ή πρακτικό να σχεδιαστεί ένα σύστημα που μπορεί να χειριστεί τα πάντα τέλεια, τότε το
σύστημα θα πρέπει να σχεδιαστεί για να χειρίζεται καλά τις εργασίες που είναι πιο πιθανό να
του ζητηθεί, και θα πρέπει να απέχει, για να είναι λιγότερο αποτελεσματικό, από τη σπάνια
εργασία. Αυτό το είδος εξέτασης οδηγεί αμέσως στην αναγκαιότητα χαρακτηρισμού της
στατιστικής φύσης ολόκληρου του συνόλου των μηνυμάτων που μπορεί να παράγει ένα

14
δεδομένο είδος πηγής. Και η πληροφορία, όπως χρησιμοποιείται στη θεωρία της επικοινωνίας,
κάνει ακριβώς αυτό.

Αν και δεν είναι καθόλου ο σκοπός αυτής της εργασίας να ασχοληθεί με μαθηματικές
λεπτομέρειες, ωστόσο φαίνεται απαραίτητο να έχουμε όσο το δυνατόν καλύτερη κατανόηση της
έκφρασης που μοιάζει με εντροπία που μετρά τις πληροφορίες. Εάν έχουμε να κάνουμε, όπως σε
μια απλή περίπτωση, με ένα σύνολο n ανεξάρτητων συμβόλων, ή με ένα σύνολο n ανεξάρτητων
πλήρων μηνυμάτων για αυτήν την περίπτωση, των οποίων οι πιθανότητες επιλογής είναι p1, p2…
pn, τότε η πραγματική έκφραση για την πληροφορία είναι:

όπου5 το σύμβολο ∑ σημαίνει, όπως συνηθίζεται στα μαθηματικά, ότι κάποιος πρέπει να
αθροίσει όλους τους όρους pi log pi στη σειρά.

Αυτό φαίνεται λίγο περίπλοκο˙ αλλά ας δούμε πώς γίνεται αυτή η έκφραση σε μερικές απλές
περιπτώσεις.

Ας υποθέσουμε πρώτα ότι επιλέγουμε ανάμεσα σε δύο μόνο πιθανά μηνύματα, των οποίων οι
πιθανότητες είναι τότε p1 για το πρώτο, και p2 = 1 – p1 για το δεύτερο. Αν υπολογίσει κανείς, για
αυτήν την περίπτωση, την αριθμητική τιμή του H, αποδεικνύεται ότι το H έχει τη μεγαλύτερη
τιμή του, δηλαδή ένα, όταν τα δύο μηνύματα είναι εξίσου πιθανά. Δηλαδή όταν p1 = p2 = ½˙
δηλαδή όταν κάποιος είναι εντελώς ελεύθερος να επιλέξει ανάμεσα στα δύο μηνύματα. Μόλις το
ένα μήνυμα γίνει πιο πιθανό από το άλλο (π.χ. p1 μεγαλύτερο από p2), η τιμή του H μειώνεται.
Και όταν ένα μήνυμα είναι πολύ πιθανό (π.χ. p1 σχεδόν ένα, και p2 σχεδόν μηδέν), η τιμή του H
είναι πολύ μικρή (σχεδόν μηδέν).

15
Στην οριακή περίπτωση όπου μια πιθανότητα είναι μονάδα (βεβαιότητα) και όλες οι άλλες είναι
μηδέν (αδυνατότητα), τότε το H είναι μηδέν (καθόλου αβεβαιότητα- καμία ελευθερία επιλογής-
καμία πληροφορία).

Έτσι, το H είναι μέγιστο όταν οι δύο πιθανότητες είναι ίσες (δηλαδή, όταν κάποιος είναι εντελώς
ελεύθερος και αμερόληπτος στην επιλογή), και μειώνεται στο μηδέν όταν η ελευθερία επιλογής
έχει χαθεί.

Η κατάσταση που μόλις περιγράφτηκε είναι στην πραγματικότητα τυπική. Εάν υπάρχουν
πολλές, αντί δύο, επιλογές, τότε το H είναι μεγαλύτερο όταν οι πιθανότητες των διαφόρων
επιλογών είναι, όσο το επιτρέπουν οι περιστάσεις, σχεδόν ίσες- όταν κάποιος έχει όσο το
δυνατόν περισσότερη ελευθερία να κάνει μια επιλογή, όντας όσο το δυνατόν λιγότερο
προδιατεθειμένος προς ορισμένες συγκεκριμένες επιλογές που έχουν περισσότερες πιθανότητες
από το μερίδιό τους. Ας υποθέσουμε, από την άλλη πλευρά, ότι μια επιλογή έχει πιθανότητα
κοντά στο ένα, έτσι ώστε όλες οι άλλες επιλογές να έχουν πιθανότητες κοντά στο μηδέν. Αυτή
είναι ξεκάθαρα μια κατάσταση στην οποία κάποιος επηρεάζεται σε μεγάλο βαθμό προς μια
συγκεκριμένη επιλογή, και ως εκ τούτου έχει μικρή ελευθερία επιλογής. Και το H σε μια τέτοια
περίπτωση όντως υπολογίζεται ότι έχει πολύ μικρή τιμή- η πληροφορία (η ελευθερία επιλογής, η
αβεβαιότητα) είναι μικρή.

Όταν ο αριθμός των περιπτώσεων είναι δεδομένος, μόλις είδαμε ότι τότε η εντροπία της
πληροφορίας είναι τόσο μεγαλύτερη, όσο πιο ίσες είναι οι πιθανότητες των διαφόρων επιλογών
ή περιπτώσεων. Υπάρχει ένας άλλος σημαντικός τρόπος αύξησης του H, δηλαδή αυξάνοντας τον
αριθμό των περιπτώσεων. Ακριβέστερα, εάν όλες οι επιλογές είναι εξίσου πιθανές, όσο
περισσότερες επιλογές υπάρχουν, τόσο μεγαλύτερο θα είναι το H. Υπάρχει περισσότερη
πληροφορία εάν επιλέξετε ελεύθερα από ένα σύνολο πενήντα τυπικών μηνυμάτων, παρά εάν
επιλέξετε ελεύθερα από ένα σύνολο είκοσι πέντε μηνυμάτων.

2.3. Χωρητικότητα ενός καναλιού επικοινωνίας

16
Μετά τη συζήτηση της προηγούμενης ενότητας, δεν εκπλήσσει το γεγονός ότι η χωρητικότητα
ενός καναλιού πρέπει να περιγραφεί όχι ως προς τον αριθμό των συμβόλων που μπορεί το
κανάλι να εκπέμψει, αλλά μάλλον ως προς τις πληροφορίες που εκπέμπει. Ή καλύτερα,
δεδομένου ότι αυτή η τελευταία φράση βασίζεται σε μια παρερμηνεία της λέξης «πληροφορία,»
η ικανότητα ενός καναλιού πρέπει να περιγραφεί ως προς την ικανότητά του να μεταδίδει αυτό
που παράγεται από την πηγή μιας δεδομένης πληροφορίας.

Εάν πρόκειται για μια απλή πηγή της οποίας όλα τα σύμβολα έχουν την ίδια χρονική διάρκεια
(κάτι που συμβαίνει, για παράδειγμα, με τον τηλέτυπο), εάν η πηγή είναι τέτοια ώστε κάθε
επιλεγμένο σύμβολο να αντιπροσωπεύει s bits πληροφοριών (που επιλέγονται ελεύθερα μεταξύ
28 συμβόλων), και εάν το κανάλι μπορεί να μεταδώσει, ας πούμε, n σύμβολα ανά δευτερόλεπτο,
τότε η χωρητικότητα του C του καναλιού ορίζεται ως ns bits ανά δευτερόλεπτο.

Σε μια γενικότερη περίπτωση, πρέπει να ληφθούν υπόψη τα ποικίλα μήκη των διαφόρων
συμβόλων. Έτσι, η γενική έκφραση για τη χωρητικότητα ενός καναλιού περιλαμβάνει τον
λογάριθμο του αριθμού των συμβόλων ορισμένης χρονικής διάρκειας (που εισάγει, φυσικά, την
ιδέα της πληροφορίας, και αντιστοιχεί στον παράγοντα s στην απλή περίπτωση της
προηγούμενης παραγράφου)˙ και περιλαμβάνει επίσης τον αριθμό αυτών των συμβόλων που
χρησιμοποιούνται (που αντιστοιχεί στον παράγοντα n της προηγούμενης παραγράφου). Έτσι,
στη γενική περίπτωση, η χωρητικότητα δεν μετρά τον αριθμό των συμβόλων που μεταδίδονται
ανά δευτερόλεπτο, αλλά μάλλον την ποσότητα της πληροφορίας που μεταδίδεται ανά
δευτερόλεπτο, χρησιμοποιώντας τα bits ανά δευτερόλεπτο ως μονάδα της.

2.4. Κωδικοποίηση

Στην αρχή επισημάνθηκε ότι ο πομπός αποδέχεται το μήνυμα, και το μετατρέπει σε κάτι που
ονομάζεται σήμα, το οποίο με τη σειρά του είναι αυτό που πραγματικά περνά μέσα από το
κανάλι στον δέκτη.

Ο πομπός, σε μια περίπτωση όπως η τηλεφωνία, απλώς μετατρέπει το ηχητικό φωνητικό σήμα
σε κάτι (το μεταβαλλόμενο ηλεκτρικό ρεύμα στο τηλεφωνικό καλώδιο) που είναι ταυτόχρονα

17
σαφώς διαφορετικό αλλά ισοδύναμο. Αλλά ο πομπός μπορεί να πραγματοποιήσει μια πολύ πιο
περίπλοκη λειτουργία στο μήνυμα για την παραγωγή του σήματος. Θα μπορούσε, για
παράδειγμα, να λάβει ένα γραπτό μήνυμα και να χρησιμοποιήσει κάποιο κώδικα για να
κρυπτογραφήσει αυτό το μήνυμα σε, ας πούμε, μια ακολουθία αριθμών. Αυτοί οι αριθμοί στη
συνέχεια αποστέλλονται μέσω του καναλιού ως σήμα.

Έτσι, κάποιος μπορεί να πει, γενικά, ότι η λειτουργία του πομπού είναι να κωδικοποιεί, και αυτή
του δέκτη να αποκωδικοποιεί, το μήνυμα. Η θεωρία προβλέπει πολύ εξελιγμένους πομπούς και
δέκτες- που, για παράδειγμα, διαθέτουν «μνήμες,» έτσι ώστε ο τρόπος που κωδικοποιούν ένα
συγκεκριμένο σύμβολο του μηνύματος εξαρτάται όχι μόνο από αυτό το σύμβολο, αλλά και από
προηγούμενα σύμβολα του μηνύματος, καθώς και από τον τρόπο με τον οποίο έχουν
κωδικοποιηθεί.

Είμαστε τώρα σε θέση να διατυπώσουμε το θεμελιώδες θεώρημα, που παράγεται σε αυτή τη

θεωρία, για ένα αθόρυβο κανάλι που εκπέμπει διακριτά σύμβολα. Αυτό το θεώρημα σχετίζεται
με ένα κανάλι επικοινωνίας που έχει χωρητικότητα C bits ανά δευτερόλεπτο, και το οποίο
δέχεται σήματα από μια πηγή με εντροπία (ή πληροφορία) H bits ανά δευτερόλεπτο. Το
θεώρημα δηλώνει ότι επινοώντας τις κατάλληλες διαδικασίες κωδικοποίησης για τον πομπό
είναι δυνατό να μεταδοθούν σύμβολα μέσω του καναλιού με μέσο ρυθμό 6 που είναι σχεδόν C/H,
αλλά ο οποίος ρυθμός, όσο έξυπνη και αν είναι η κωδικοποίηση, δεν μπορεί ποτέ να ξεπεράσει
το όριο C/H.

Η σημασία αυτού του θεωρήματος πρόκειται να συζητηθεί πιο πρακτικά λίγο αργότερα, όταν θα
έχουμε τη γενικότερη περίπτωση όπου υπάρχει θόρυβος. Προς το παρόν, ωστόσο, είναι
σημαντικό να παρατηρήσουμε τον κρίσιμο ρόλο που παίζει η κωδικοποίηση.

Θυμηθείτε ότι η εντροπία (ή πληροφορία) που σχετίζεται με τη διαδικασία που παράγει

μηνύματα ή σήματα καθορίζεται από τον στατιστικό χαρακτήρα της διαδικασίας- από τις
διάφορες πιθανότητες για την παραγωγή καταστάσεων μηνυμάτων, και για την επιλογή, σε
αυτές τις καταστάσεις, των επόμενων συμβόλων. Η στατιστική φύση των μηνυμάτων
καθορίζεται εξ ολοκλήρου από τον χαρακτήρα της πηγής. Αλλά ο στατιστικός χαρακτήρας του

18
σήματος όπως πραγματικά μεταδίδεται από ένα κανάλι, και επομένως η εντροπία στο κανάλι,
καθορίζεται τόσο από το τι προσπαθεί κανείς να μεταφέρει στο κανάλι, όσο και από τις
δυνατότητες του καναλιού να χειρίζεται διαφορετικές καταστάσεις σήματος. Για παράδειγμα,
στην τηλεγραφία, πρέπει να υπάρχουν κενά μεταξύ δυο κουκκίδων, μεταξύ μιας κουκκίδας και
μιας παύλας, και μεταξύ δυο παυλών και παυλών, διαφορετικά οι τελείες και οι παύλες δεν θα
είναι αναγνωρίσιμες.

Τώρα αποδεικνύεται ότι όταν ένα κανάλι έχει ορισμένους περιορισμούς αυτού του είδους, οι
οποίοι περιορίζουν την πλήρη ελευθερία σήματος, υπάρχουν ορισμένα στατιστικά
χαρακτηριστικά σήματος που οδηγούν σε μια εντροπία σήματος που είναι μεγαλύτερη από ό,τι
θα ήταν για οποιαδήποτε άλλη δομή στατιστικού σήματος, και, σε αυτή τη σημαντική
περίπτωση, η εντροπία του σήματος είναι ακριβώς ίση με τη χωρητικότητα του καναλιού.

Με βάση αυτές τις ιδέες, είναι πλέον δυνατό να χαρακτηριστεί ακριβώς το πιο αποτελεσματικό
είδος κωδικοποίησης. Ο καλύτερος πομπός, στην πραγματικότητα, είναι αυτός που κωδικοποιεί
το μήνυμα με τέτοιο τρόπο ώστε το σήμα να έχει ακριβώς τα βέλτιστα στατιστικά
χαρακτηριστικά που ταιριάζουν καλύτερα στο κανάλι που θα χρησιμοποιηθεί- εκείνα που στην
πραγματικότητα μεγιστοποιούν την εντροπία του σήματος (ή, κάποιος μπορεί να πει, το κανάλι),
και την καθιστούν ίση με τη χωρητικότητα C του καναλιού.

Αυτό το είδος κωδικοποίησης οδηγεί, από το θεμελιώδες θεώρημα παραπάνω, στον μέγιστο
ρυθμό C/H για τη μετάδοση συμβόλων. Αλλά για αυτό το κέρδος στον ρυθμό μετάδοσης,
κάποιος πληρώνει ένα τίμημα. Διότι μάλλον διεστραμμένα συμβαίνει ότι καθώς κάποιος κάνει
την κωδικοποίηση όλο και πιο ιδανική, αναγκάζεται σε μεγαλύτερες και μεγαλύτερες
καθυστερήσεις στη διαδικασία κωδικοποίησης. Αυτό το δίλλημα αντιμετωπίζεται εν μέρει από
το γεγονός ότι στον ηλεκτρονικό εξοπλισμό το «μεγάλο» μπορεί να σημαίνει ένα εξαιρετικά
μικρό κλάσμα του δευτερολέπτου, και εν μέρει από το γεγονός ότι κάποιος κάνει έναν
συμβιβασμό, εξισορροπώντας το κέρδος στο ρυθμό μετάδοσης με την απώλεια χρόνου
κωδικοποίησης.

19
2.5. Θόρυβος

Πώς επηρεάζει ο θόρυβος τις πληροφορίες; Η πληροφορία είναι, πρέπει πάντα να θυμόμαστε,
ένα μέτρο της ελευθερίας επιλογής κάποιου κατά την επιλογή ενός μηνύματος. Όσο μεγαλύτερη
είναι αυτή η ελευθερία επιλογής, και επομένως όσο περισσότερη είναι η πληροφορία, τόσο
μεγαλύτερη είναι η αβεβαιότητα ότι το μήνυμα που επιλέχθηκε είναι κάποιο συγκεκριμένο.
Έτσι, όσο μεγαλύτερη ελευθερία επιλογής υπάρχει, τόσο μεγαλύτερη είναι η αβεβαιότητα, και
τόσο περισσότερη είναι η πληροφορία.

Εάν εισαχθεί θόρυβος, τότε το ληφθέν μήνυμα περιέχει ορισμένες παραμορφώσεις, ορισμένα
σφάλματα, κάποιο περιττό υλικό, που σίγουρα θα οδηγούσαν κάποιον να πει ότι το ληφθέν
μήνυμα παρουσιάζει, λόγω των επιπτώσεων του θορύβου, μια αυξημένη αβεβαιότητα. Αλλά αν
αυξηθεί η αβεβαιότητα, οι πληροφορία αυξάνεται, και αυτό ακούγεται σαν ο θόρυβος να ήταν
ευεργετικός!

Είναι γενικά αλήθεια ότι όταν υπάρχει θόρυβος, το λαμβανόμενο σήμα περιέχει περισσότερη
πληροφορία- ή καλύτερα, το λαμβανόμενο σήμα επιλέγεται από ένα πιο ποικίλο σύνολο από
εκείνο του εκπεμπόμενου σήματος. Αυτή είναι μια κατάσταση που απεικονίζει εύστοχα τη
σημασιολογική παγίδα στην οποία μπορεί να πέσει κάποιος αν δεν θυμάται ότι η «πληροφορία»
χρησιμοποιείται εδώ με μια ειδική έννοια που μετρά την ελευθερία επιλογής, και συνεπώς την
αβεβαιότητα ως προς το ποια επιλογή έχει γίνει. Είναι επομένως πιθανό η λέξη «πληροφορία»
να έχει είτε καλή είτε κακή σημασία. Η αβεβαιότητα που προκύπτει λόγω της ελευθερίας
επιλογής εκ μέρους του αποστολέα είναι επιθυμητή αβεβαιότητα. Η αβεβαιότητα που προκύπτει
λόγω σφαλμάτων ή λόγω της επίδρασης του θορύβου είναι ανεπιθύμητη αβεβαιότητα.

Είναι επομένως σαφές πού βρίσκεται το σφάλμα αν πούμε ότι το λαμβανόμενο σήμα έχει
περισσότερες πληροφορίες. Ορισμένες από αυτές τις πληροφορίες είναι ανακριβείς και
ανεπιθύμητες, και έχουν εισαχθεί μέσω του θορύβου. Για να λάβουμε τις χρήσιμες πληροφορίες
στο λαμβανόμενο σήμα, πρέπει να αφαιρέσουμε αυτό το πλαστό τμήμα.

20
Πριν μπορέσουμε να ξεκαθαρίσουμε αυτό το σημείο, πρέπει πρώτα να κάνουμε μια μικρή
παρένθεση. Ας υποθέσουμε ότι κάποιος έχει δύο σύνολα συμβόλων, όπως τα σύμβολα
μηνυμάτων που δημιουργούνται από την πηγή πληροφοριών, και τα σύμβολα σήματος που
λαμβάνονται στην πραγματικότητα. Οι πιθανότητες αυτών των δύο συνόλων συμβόλων είναι
αλληλένδετες, γιατί σαφώς η πιθανότητα λήψης ενός συγκεκριμένου συμβόλου εξαρτάται από
το σύμβολο που στάλθηκε. Χωρίς σφάλματα από θόρυβο ή από άλλες αιτίες, τα λαμβανόμενα
σήματα θα αντιστοιχούν ακριβώς στα σύμβολα μηνυμάτων που αποστέλλονται. Και με την
παρουσία πιθανού σφάλματος, οι πιθανότητες για τα ληφθέντα σύμβολα θα φορτώνονταν σε
μεγάλο βαθμό σε εκείνες που αντιστοιχούν στα σύμβολα του μηνύματος που αποστέλλεται.

Τώρα σε μια τέτοια κατάσταση μπορεί κανείς να υπολογίσει αυτό που ονομάζεται εντροπία ενός
συνόλου συμβόλων σε σχέση με το άλλο. Ας εξετάσουμε, για παράδειγμα, την εντροπία του
μηνύματος σε σχέση με το σήμα. Δυστυχώς δεν μπορούμε να κατανοήσουμε τα ζητήματα που
εμπλέκονται εδώ χωρίς να υπεισέλθουμε σε ορισμένες λεπτομέρειες. Ας υποθέσουμε λοιπόν ότι
κάποιος γνωρίζει ότι ένα συγκεκριμένο σύμβολο σήματος έχει πράγματι ληφθεί. Τότε, κάθε
σύμβολο μηνύματος παίρνει μια ορισμένη πιθανότητα- σχετικά μεγάλη για το σύμβολο που
είναι πανομοιότυπο ή παρόμοιο με εκείνα που έχουν ληφθεί, και σχετικά μικρή για τα υπόλοιπα
σύμβολα. Χρησιμοποιώντας αυτό το σύνολο πιθανοτήτων, υπολογίζεται μια δοκιμαστική τιμή
εντροπίας. Αυτή είναι η εντροπία του μηνύματος, με την υπόθεση ενός συγκεκριμένου γνωστού
ληφθέντος συμβόλου ή σήματος. Κάτω από οποιεσδήποτε ευνοϊκές συνθήκες, η τιμή της
εντροπίας είναι μικρή, καθώς οι πιθανότητες που εμπλέκονται δεν κατανέμονται ομοιόμορφα
στις διάφορες περιπτώσεις, αλλά μεταφέρονται σε μεγάλο βαθμό σε μία ή λίγες περιπτώσεις. Η
τιμή της εντροπίας θα ήταν μηδέν σε κάθε περίπτωση όπου ο θόρυβος θα απουσίαζε εντελώς,
γιατί τότε, εφόσον το σύμβολο του σήματος είναι γνωστό, όλες οι πιθανότητες του μηνύματος
θα ήταν μηδέν, εκτός από ένα σύμβολο (δηλαδή αυτό που ελήφθη), το οποίο θα είχε πιθανότητα
ίση με ένα.

Για κάθε υπόθεση ως προς το σύμβολο του σήματος που λαμβάνεται, μπορεί κανείς να
υπολογίσει μία από αυτές τις δοκιμαστικές εντροπίες μηνυμάτων. Υπολογίζουμε όλες αυτές και,
στη συνέχεια, τον μέσο όρο τους, σταθμίζοντας τη καθεμιά σύμφωνα με την πιθανότητα του
συμβόλου σήματος που λαμβάνεται για τον υπολογισμό της. Οι εντροπίες που υπολογίζονται με

21
αυτόν τον τρόπο, όταν υπάρχουν δύο σύνολα συμβόλων προς εξέταση, ονομάζονται σχετικές
εντροπίες. Αυτό που μόλις περιγράφτηκε είναι η εντροπία του μηνύματος σε σχέση με το σήμα,
και ο Σάννον το ονόμασε αυτό και «αμφισημία» (equivocation).

Από τον τρόπο που υπολογίζεται αυτή η αμφισημία, μπορούμε να δούμε ποια είναι η σημασία
της. Μετρά τη μέση αβεβαιότητα στο μήνυμα, όταν το σήμα είναι γνωστό. Εάν δεν υπήρχε
θόρυβος, τότε δεν θα υπήρχε αβεβαιότητα σχετικά με το μήνυμα εάν το σήμα είναι γνωστό. Εάν
η πηγή πληροφοριών έχει κάποια υπολειπόμενη αβεβαιότητα αφού γίνει γνωστό το σήμα, τότε
αυτή πρέπει να είναι ανεπιθύμητη αβεβαιότητα λόγω θορύβου.

Η συζήτηση των τελευταίων παραγράφων επικεντρώνεται γύρω από την ποσότητα «η μέση
αβεβαιότητα στην πηγή του μηνύματος, όταν είναι γνωστό το λαμβανόμενο σήμα.» Μπορεί
εξίσου καλά να διατυπωθεί με όρους της παρόμοιας ποσότητας «η μέση αβεβαιότητα σχετικά με
το λαμβανόμενο σήμα, όταν είναι γνωστό το μήνυμα που αποστέλλεται.» Αυτή η τελευταία
αβεβαιότητα, φυσικά, θα ήταν επίσης μηδενική εάν δεν υπήρχε θόρυβος.

Όσον αφορά την αλληλεξάρτηση αυτών των ποσοτήτων, είναι εύκολο να δείξουμε ότι:

όπου H(x) είναι η εντροπία της πηγής των μηνυμάτων, H(y) είναι η εντροπία των λαμβανόμενων
σημάτων, Hy(x) είναι η αβεβαιότητα της πηγής του μηνύματος εάν το σήμα είναι γνωστό, και
Hx(y) είναι η αβεβαιότητα στα ληφθέντα σήματα εάν τα μηνύματα που αποστέλλονται είναι
γνωστά. Η δεξιά πλευρά αυτής της εξίσωσης είναι οι χρήσιμες πληροφορίες που μεταδίδονται
παρά την κακή επίδραση του θορύβου.

Είναι πλέον δυνατό να εξηγήσουμε τι εννοούμε με την χωρητικότητα C ενός θορυβώδους

καναλιού. Στην πραγματικότητα, ορίζεται να είναι ίση με τον μέγιστο ρυθμό (σε bit ανά
δευτερόλεπτο) με τον οποίο χρήσιμες πληροφορίες (δηλαδή, η συνολική αβεβαιότητα μείον την
αβεβαιότητα του θορύβου) μπορούν να μεταδοθούν μέσω του καναλιού.

22
Γιατί γίνεται λόγος εδώ για «μέγιστο» ρυθμό; Πώς μπορεί κάποιος να κάνει αυτόν το ρυθμό
μεγαλύτερο ή μικρότερο; Η απάντηση είναι ότι μπορεί κανείς να επηρεάσει αυτόν το ρυθμό
επιλέγοντας μια πηγή της οποίας τα στατιστικά χαρακτηριστικά σχετίζονται κατάλληλα με τους
περιορισμούς που επιβάλλονται από τη φύση του καναλιού. Δηλαδή, μπορεί κανείς να
μεγιστοποιήσει τον ρυθμό μετάδοσης χρήσιμων πληροφοριών χρησιμοποιώντας σωστή
κωδικοποίηση.

Και τώρα, τέλος, ας εξετάσουμε το θεμελιώδες θεώρημα για ένα θορυβώδες κανάλι. Ας
υποθέσουμε ότι αυτό το θορυβώδες κανάλι έχει, με την έννοια που μόλις περιγράφτηκε, μια
χωρητικότητα C. Ας υποθέσουμε ότι δέχεται δεδομένα από μια πηγή πληροφοριών που
χαρακτηρίζεται από μια εντροπία H(x) bit ανά δευτερόλεπτο, ενώ η εντροπία των λαμβανόμενων
σημάτων είναι H(y) bit ανά δευτερόλεπτο. Εάν η χωρητικότητα του καναλιού C είναι ίση ή
μεγαλύτερη από H(x), τότε, επινοώντας κατάλληλα συστήματα κωδικοποίησης, η έξοδος της
πηγής μπορεί να μεταδοθεί μέσω του καναλιού με όσο μικρότερο σφάλμα θέλει κανείς. Όσο
μικρή κι αν ορίσουμε να είναι η συχνότητα των σφαλμάτων, υπάρχει μια κωδικοποίηση που
ανταποκρίνεται στη ζήτηση. Αλλά εάν η χωρητικότητα του καναλιού C είναι μικρότερη από
H(x), δηλαδή, την εντροπία της πηγής από την οποία δέχεται μηνύματα, τότε είναι αδύνατο να
επινοηθούν κωδικοποιήσεις που να μειώνουν τη συχνότητα σφάλματος κατά βούληση.

Όσο καλός κι αν είναι κάποιος στην κωδικοποίηση δεδομένων, μετά τη λήψη του σήματος
παραμένει πάντα κάποια ανεπιθύμητη αβεβαιότητα (θόρυβος) σχετικά με το περιεχόμενο του
μηνύματος˙ και αυτή η ανεπιθύμητη αβεβαιότητα- αυτή η αμφισημία- θα είναι πάντα ίση ή
μεγαλύτερη από H(x) - C. Επιπλέον, υπάρχει πάντα τουλάχιστον ένας κώδικας που είναι ικανός
να μειώσει αυτήν την ανεπιθύμητη αβεβαιότητα, σχετικά με το μήνυμα, σε κάποια τιμή που
υπερβαίνει το H(x) - C κατά μια αυθαίρετα μικρή ποσότητα.

Η πιο σημαντική πτυχή, φυσικά, είναι ότι η ελάχιστη ανεπιθύμητη ή ψευδής αβεβαιότητα δεν
μπορεί να μειωθεί περαιτέρω, ανεξάρτητα από το πόσο περίπλοκη ή κατάλληλη είναι η
διαδικασία κωδικοποίησης. Αυτό το ισχυρό θεώρημα δίνει μια ακριβή και σχεδόν εκπληκτικά
απλή περιγραφή της μέγιστης αξιοπιστίας που μπορεί να αποκτήσει κανείς από ένα κανάλι
επικοινωνίας που λειτουργεί παρουσία θορύβου.

23
Μια πρακτική συνέπεια, την οποία επισήμανε ο Σάννον, πρέπει να σημειωθεί. Δεδομένου ότι τα
αγγλικά είναι περίπου 50 τοις εκατό πλεονάζοντα, θα ήταν δυνατό να εξοικονομηθεί περίπου ο
μισός χρόνος της συνηθισμένης τηλεγραφίας με μια κατάλληλη διαδικασία κωδικοποίησης, υπό
την προϋπόθεση ότι κάποιος θα μπορούσε να εκπέμψει μέσω ενός αθόρυβου καναλιού. Όταν
υπάρχει θόρυβος σε ένα κανάλι, ωστόσο, υπάρχει κάποιο πραγματικό πλεονέκτημα στη μη
χρήση μιας διαδικασίας κωδικοποίησης που εξαλείφει όλο τον πλεονασμό. Διότι ο υπόλοιπος
πλεονασμός βοηθά στην καταπολέμηση του θορύβου. Αυτό είναι πολύ εύκολο να το δει κανείς,
γιατί ακριβώς λόγω του γεγονότος ότι ο πλεονασμός των αγγλικών είναι μεγάλος, κάποιος, για
παράδειγμα, έχει ελάχιστο ή καθόλου δισταγμό σχετικά με τη διόρθωση ορθογραφικών
σφαλμάτων που έχουν προκύψει κατά τη μετάδοση.

2.6. Συνεχή μηνύματα

Μέχρι αυτό το σημείο μας απασχόλησαν μηνύματα που σχηματίζονται από διακριτά σύμβολα,
καθώς οι λέξεις σχηματίζονται από γράμματα, προτάσεις λέξεων, μια μελωδία από νότες, ή μια
ημίτονη εικόνα ενός πεπερασμένου αριθμού διακριτών σημείων. Τι συμβαίνει με τη θεωρία αν
λάβει κανείς υπόψη τα συνεχή μηνύματα, όπως η ομιλούσα φωνή με τη συνεχή διακύμανση του
τόνου και της ενέργειας;

Πολύ χοντρικά μπορεί να πει κανείς ότι η εκτεταμένη θεωρία είναι κάπως πιο δύσκολη και
περίπλοκη μαθηματικά, αλλά όχι ουσιαστικά διαφορετική. Πολλές από τις παραπάνω δηλώσεις
για τη διακριτή περίπτωση δεν απαιτούν καμία τροποποίηση, και άλλες απαιτούν μόνο μικρές
αλλαγές.

Μια περίσταση που βοηθάει πολύ είναι η εξής. Πρακτικά, κάποιος ενδιαφέρεται πάντα για ένα
συνεχές σήμα που αποτελείται από απλά αρμονικά συστατικά όχι όλων των συχνοτήτων, αλλά
μάλλον από συχνότητες που βρίσκονται εξ ολοκλήρου μέσα σε μια ζώνη από μηδενική
συχνότητα μέχρι, ας πούμε, μια συχνότητα W κύκλων το δευτερόλεπτο. Έτσι παρόλο που η
ανθρώπινη φωνή περιέχει υψηλότερες συχνότητες, μπορεί να επιτευχθεί πολύ ικανοποιητική
επικοινωνία μέσω ενός τηλεφωνικού καναλιού που χειρίζεται συχνότητες μόνο έως, ας πούμε,

24
τέσσερις χιλιάδες κύκλους το δευτερόλεπτο. Με συχνότητες έως δέκα ή δώδεκα χιλιάδες
κύκλους το δευτερόλεπτο, είναι δυνατή η ραδιοφωνική μετάδοση υψηλής πιστότητας
συμφωνικής μουσικής, κ.λπ.

Υπάρχει ένα πολύ βολικό μαθηματικό θεώρημα, το οποίο δηλώνει ότι ένα συνεχές σήμα,
διάρκειας T δευτερολέπτων, και περιορισμένης συχνότητας ζώνης στην περιοχή από 0 έως W
κύκλων το δευτερόλεπτο, μπορεί να καθοριστεί πλήρως δηλώνοντας αριθμούς 2TW. Αυτό είναι
πραγματικά ένα αξιοσημείωτο θεώρημα. Συνήθως μια συνεχής καμπύλη μπορεί να
χαρακτηριστεί μόνο κατά προσέγγιση δηλώνοντας οποιονδήποτε πεπερασμένο αριθμό σημείων
από τα οποία διέρχεται, και ένας άπειρος αριθμός θα απαιτούνταν γενικά για πλήρεις
πληροφορίες σχετικά με την καμπύλη. Αλλά εάν η καμπύλη δημιουργείται από απλά αρμονικά
συστατικά ενός περιορισμένου αριθμού συχνοτήτων, καθώς ένας σύνθετος ήχος δημιουργείται
από έναν περιορισμένο αριθμό καθαρών τόνων, τότε ένας πεπερασμένος αριθμός παραμέτρων
είναι το μόνο που χρειάζεται. Αυτό έχει το ισχυρό πλεονέκτημα ότι μειώνει τον χαρακτήρα του
προβλήματος επικοινωνίας για συνεχή σήματα, από μια περίπλοκη κατάσταση όπου κάποιος θα
έπρεπε να αντιμετωπίσει έναν άπειρο αριθμό μεταβλητών, σε μια πολύ απλούστερη κατάσταση
όπου κάποιος ασχολείται με έναν πεπερασμένο (αν και μεγάλο) αριθμό μεταβλητών.

Στη θεωρία για τη συνεχή περίπτωση έχουν αναπτυχθεί τύποι που περιγράφουν τη μέγιστη
χωρητικότητα C ενός καναλιού εύρους ζώνης συχνότητας W, όταν η μέση ισχύς που
χρησιμοποιείται στη μετάδοση είναι P, το κανάλι υπόκειται σε θόρυβο ισχύος N, και όταν ο
θόρυβος αυτός είναι «λευκός θερμικός θόρυβος» ειδικού είδους που ορίζει ο Σάννον. Αυτός ο
λευκός θερμικός θόρυβος είναι από μόνος του περιορισμένης συχνότητας ζώνης, και τα πλάτη
των διαφόρων συστατικών συχνοτήτων υπόκεινται σε μια κανονική (Γκαουσιανή) κατανομή
πιθανότητας. Υπό αυτές τις συνθήκες, ο Σάννον αναπτύσσει το θεώρημα, και πάλι πολύ
αξιοσημείωτο ως προς την απλότητα και το εύρος του, ότι είναι δυνατό, με την καλύτερη
κωδικοποίηση, να μεταδοθούν δυαδικά ψηφία με ρυθμό:

25
bit ανά δευτερόλεπτο, και με αυθαίρετα χαμηλή συχνότητα σφαλμάτων. Αλλά αυτό το ποσοστό
δεν μπορεί να ξεπεραστεί, ανεξάρτητα από το πόσο έξυπνη είναι η κωδικοποίηση, χωρίς να
προκαλέσει μια συγκεκριμένη συχνότητα σφαλμάτων. Για την περίπτωση αυθαίρετου θορύβου,
αντί για τον ειδικό «λευκό θερμικό» θόρυβο που υποτέθηκε παραπάνω, ο Σάννον δεν
κατορθώνει να εξαγάγει έναν σαφή τύπο για τη χωρητικότητα καναλιού, αλλά λαμβάνει χρήσιμα
άνω και κάτω όρια για τη χωρητικότητα του καναλιού. Και εξάγει επίσης όρια για τη
χωρητικότητα του καναλιού όταν κάποιος καθορίζει όχι τη μέση ισχύ του πομπού, αλλά μάλλον
τη μέγιστη στιγμιαία ισχύ.

Τέλος, πρέπει να ειπωθεί ότι ο Σάννον λαμβάνει αποτελέσματα που είναι αναγκαστικά κάπως
λιγότερο συγκεκριμένα, αλλά τα οποία είναι προφανώς βαθιάς και ευρείας σημασίας, και τα
οποία, για ένα γενικό είδος συνεχούς μηνύματος ή σήματος, χαρακτηρίζουν την πιστότητα του
ληφθέντος μηνύματος, καθώς και τις έννοιες του ρυθμού με τον οποίο μια πηγή παράγει
πληροφορίες, του ρυθμού μετάδοσης, και της χωρητικότητας του καναλιού, ενώ όλα αυτά
σχετίζονται με ορισμένες απαιτήσεις πιστότητας.

3. Η αλληλεξάρτηση των τριών επιπέδων των προβλημάτων

επικοινωνίας

3.1. Εισαγωγικά

Στην πρώτη ενότητα αυτής της εργασίας προτάθηκε ότι υπάρχουν τρία επίπεδα στα οποία
μπορεί κανείς να εξετάσει το γενικό πρόβλημα της επικοινωνίας. Δηλαδή, μπορεί κανείς να
ρωτήσει:

Επίπεδο Α: Με πόση ακρίβεια μπορούν να μεταδοθούν τα σύμβολα επικοινωνίας;

Επίπεδο Β: Με πόση ακρίβεια τα μεταδιδόμενα σύμβολα αποδίδουν το επιθυμητό νόημα;
Επίπεδο Γ: Πόσο αποτελεσματικά το ληφθέν νόημα επηρεάζει τη συμπεριφορά με τον
επιθυμητό τρόπο;

26
Προτάθηκε ότι η μαθηματική θεωρία της επικοινωνίας, όπως αναπτύχθηκε από τους Σάννον,
Wiener, και άλλους, και ιδίως η πιο μηχανική θεωρία που αντιμετώπισε ο Σάννον, αν και
φαινομενικά ισχύει μόνο για προβλήματα του επιπέδου Α, στην πραγματικότητα είναι χρήσιμη
και ενδεικτική για τα προβλήματα των επιπέδων Β και Γ.

Στη συνέχεια, ρίξαμε μια ματιά, στην ενότητα 2, στο τι είναι αυτή η μαθηματική θεωρία, ποιες
έννοιες αναπτύσσει, και ποια αποτελέσματα έχει λάβει. Σκοπός μας σε αυτήν την τελική ενότητα
είναι να επανεξετάσουμε την κατάσταση, και να δούμε σε ποιο βαθμό και με ποιους όρους το
αρχικό τμήμα δικαιολογείται στην υπόδειξή του ότι η πρόοδος που σημειώθηκε στο επίπεδο Α
μπορεί να συμβάλει στα επίπεδα Β και Γ, και ότι η σχέση μεταξύ των τριών επιπέδων είναι τόσο
σημαντική ώστε το τελικό συμπέρασμα μπορεί να είναι ότι ο διαχωρισμός μεταξύ των τριών
επιπέδων είναι πραγματικά τεχνητός και ανεπιθύμητος.

3.2. Γενικότητα της θεωρίας στο επίπεδο Α

Η προφανής πρώτη παρατήρηση, και μάλιστα η παρατήρηση που φέρει το κύριο βάρος του
επιχειρήματος, είναι ότι η συγκεκριμένη μαθηματική θεωρία είναι εξαιρετικά γενική στο εύρος
της, θεμελιώδης στα προβλήματα που αντιμετωπίζει, και κλασικής απλότητας και δύναμης στα
αποτελέσματα που φτάνει.

Πρόκειται για μια θεωρία τόσο γενική που δεν χρειάζεται να πει κανείς τι είδους σύμβολα
εξετάζονται- είτε γραμμένα γράμματα είτε λέξεις, είτε μουσικές νότες, είτε προφορικές λέξεις,
είτε συμφωνική μουσική, είτε εικόνες. Η θεωρία είναι αρκετά βαθιά ώστε οι σχέσεις που
αποκαλύπτει να εφαρμόζονται αδιακρίτως σε όλες τις προηγούμενες και σε άλλες μορφές
επικοινωνίας. Αυτό σημαίνει, φυσικά, ότι η θεωρία έχει αρκετά κίνητρα φαντασίας, ώστε να
ασχολείται με τον πραγματικό εσωτερικό πυρήνα του προβλήματος της επικοινωνίας- με εκείνες
τις βασικές σχέσεις που ισχύουν γενικά, ανεξάρτητα από την ειδική μορφή που μπορεί να πάρει
η πραγματική περίπτωση.

Είναι απόδειξη αυτής της γενικότητας στην οποία η θεωρία συμβάλλει σημαντικά, και στην
πραγματικότητα είναι η βασική θεωρία της κρυπτογραφίας, που είναι, φυσικά, μια μορφή

27
κωδικοποίησης. Με παρόμοιο τρόπο, η θεωρία συμβάλλει στο πρόβλημα της μετάφρασης από
τη μια γλώσσα στην άλλη, αν και η πλήρης ιστορία εδώ απαιτεί ξεκάθαρα εξέταση του
νοήματος, καθώς και των πληροφοριών. Ομοίως, οι ιδέες που αναπτύχθηκαν σε αυτή την
εργασία συνδέονται τόσο στενά με το πρόβλημα του λογικού σχεδιασμού των μεγάλων
υπολογιστών, ώστε δεν αποτελεί έκπληξη το γεγονός ότι ο Σάννον μόλις έγραψε μια εργασία για
το σχεδιασμό ενός υπολογιστή που θα μπορούσε να παίξει ένα επιδέξιο παιχνίδι σκακιού. Και
είναι περαιτέρω άμεσης σημασίας για την παρούσα συζήτηση ότι αυτή η εργασία κλείνει με την
παρατήρηση ότι είτε πρέπει να πει κανείς ότι ένας τέτοιος υπολογιστής «σκέφτεται,» είτε πρέπει
να τροποποιήσει ουσιαστικά το συμβατικό νόημα του ρήματος «σκέφτομαι.»

Ως δεύτερο σημείο, φαίνεται ξεκάθαρο ότι μια σημαντική συμβολή σε οποιαδήποτε πιθανή
γενική θεωρία επικοινωνίας έχει γίνει από την επισημοποίηση στην οποία βασίζεται η παρούσα
θεωρία. Φαίνεται αρχικά προφανές να σχεδιάσουμε ένα σύστημα επικοινωνίας όπως γίνεται
στην αρχή αυτής της θεωρίας˙ αλλά αυτή η ανάλυση της κατάστασης πρέπει να είναι βαθιά
λογική και κατάλληλη, καθώς πείθεται κανείς όταν βλέπει πόσο ομαλά και γενικά αυτή η άποψη
οδηγεί σε κεντρικά ζητήματα. Είναι σχεδόν βέβαιο ότι η εξέταση της επικοινωνίας στα επίπεδα
Β και Γ θα απαιτήσει προσθήκες στο αρχικό σχηματικό διάγραμμα, αλλά φαίνεται εξίσου πιθανό
ότι αυτό που απαιτείται είναι μικρές προσθήκες και όχι πραγματική αναθεώρηση.

Έτσι, όταν κάποιος μετακινείται στα επίπεδα Β και Γ, μπορεί να αποδειχθεί απαραίτητο να
ληφθούν υπόψη τα στατιστικά χαρακτηριστικά του προορισμού. Μπορεί κανείς να φανταστεί,
ως προσθήκη στο διάγραμμα, ένα άλλο πλαίσιο με την ένδειξη «σημασιολογικός δέκτης» να
παρεμβάλλεται ανάμεσα στο μηχανικό δέκτη (ο οποίος αλλάζει τα σήματα σε μηνύματα), και
στον προορισμό. Αυτός ο σημασιολογικός δέκτης υποβάλλει το μήνυμα σε μια δεύτερη
αποκωδικοποίηση, η απαίτηση της οποίας είναι ότι πρέπει να ταιριάξει τα στατιστικά
σημασιολογικά χαρακτηριστικά του μηνύματος με τις στατιστικές σημασιολογικές δυνατότητες
του συνόλου των δεκτών, ή εκείνου του υποσυνόλου δεκτών που αποτελούν το κοινό το οποίο
επιθυμεί κάποιος να επηρεάσει.

Ομοίως, μπορεί κανείς να φανταστεί ένα άλλο πλαίσιο στο διάγραμμα, το οποίο, τοποθετημένο
μεταξύ της πηγής πληροφοριών και του πομπού, θα φέρει την ένδειξη «σημασιολογικός

28
θόρυβος,» ενώ το πλαίσιο που προηγουμένως ονομαζόταν απλώς «θόρυβος» (του πομπού),
τώρα θα χαρακτηρίζεται ως «μηχανικός θόρυβος.» Από αυτήν την πηγή επιβάλλονται στο σήμα
οι διαταραχές ή παραμορφώσεις του νοήματος που δεν προέρχονται από την πηγή, αλλά που
επηρεάζουν αναπόφευκτα τον προορισμό. Και το πρόβλημα της σημασιολογικής
αποκωδικοποίησης πρέπει να λαμβάνει υπόψη αυτόν τον σημασιολογικό θόρυβο. Είναι επίσης
δυνατό να σκεφτούμε μια προσαρμογή του αρχικού μηνύματος, έτσι ώστε το άθροισμα της
σημασίας του μηνύματος συν το σημασιολογικό θόρυβο να είναι ίσο με το επιθυμητό συνολικό
νόημα του μηνύματος στον προορισμό.

Τρίτον, φαίνεται πολύ ενδεικτικό για το πρόβλημα σε όλα τα επίπεδα ότι το σφάλμα και η
σύγχυση εμφανίζονται, και μειώνεται η πιστότητα, όταν, όσο καλή και αν είναι η κωδικοποίηση,
προσπαθεί κανείς να συνωστίσει υπερβολικά ένα κανάλι (δηλ. H > C). Εδώ πάλι μια γενική
θεωρία σε όλα τα επίπεδα σίγουρα θα πρέπει να λάβει υπόψη όχι μόνο τη χωρητικότητα του
καναλιού, αλλά και (ακριβολογώντας!) τη χωρητικότητα του κοινού. Αν κάποιος προσπαθήσει
να υπερπληρώσει τη χωρητικότητα του κοινού, είναι πιθανώς αλήθεια, κατ’ αναλογία, ότι δεν
μπορεί, ας το πούμε έτσι, να μπουκώσει το κοινό, και στη συνέχεια να αφήσει το υπόλοιπο
μήνυμα να πάει χαμένο. Πιθανότατα, και πάλι κατ’ αναλογία, αν υπερφορτώσει κάποιος τη
χωρητικότητα του κοινού, θα προκαλέσει ένα γενικό και αναπόφευκτο λάθος και σύγχυση.

Τέταρτον, είναι δύσκολο να πιστέψει κανείς ότι τα επίπεδα Β και Γ δεν έχουν πολλά να μάθουν
από, και δεν βρίσκουν την επίλυση των προβλημάτων στην ανάπτυξη σε αυτήν τη θεωρία των
εντροπικών ιδεών σε σχέση με την έννοια της πληροφορίας.

Η έννοια της πληροφορίας που αναπτύχθηκε σε αυτή τη θεωρία, αρχικά φαίνεται απογοητευτική
και περίεργη- απογοητευτική επειδή δεν έχει καμία σχέση με το νόημα, και παράξενη επειδή δεν
ασχολείται με ένα μόνο μήνυμα, αλλά μάλλον με τον στατιστικό χαρακτήρα ενός ολόκληρου
συνόλου μηνυμάτων˙ παράξενη επίσης γιατί με αυτούς τους στατιστικούς όρους οι δύο λέξεις
«πληροφορία» και «αβεβαιότητα» αποκτούν παρεμφερή σημασία.

Νομίζω, ωστόσο, ότι αυτές θα πρέπει να είναι μόνο προσωρινές αντιδράσεις˙ και ότι θα πρέπει
να πει κανείς, στο τέλος, ότι αυτή η ανάλυση έχει προετοιμάσει τόσο καθοριστικά το έδαφος,

29
ώστε τώρα, ίσως για πρώτη φορά, να είμαστε έτοιμοι για μια πραγματική θεωρία του νοήματος.
Μια θεωρία της επικοινωνιακής μηχανικής είναι ακριβώς όπως ένα πολύ καλό και διακριτικό
κορίτσι που δέχεται το τηλεγράφημά σας. Δεν δίνει σημασία στο νόημα, είτε είναι λυπηρό, είτε
χαρούμενο, είτε ντροπιαστικό. Αλλά πρέπει να είναι προετοιμασμένη να αντιμετωπίσει όλα όσα
τηλεγραφήματα φτάνουν στο γραφείο της. Αυτή η ιδέα, ότι ένα σύστημα επικοινωνίας πρέπει να
προσπαθεί να αντιμετωπίσει όλα τα πιθανά μηνύματα, και ότι ο έξυπνος τρόπος να
προσπαθήσουμε είναι να βασίσουμε το σχεδιασμό στον στατιστικό χαρακτήρα της πηγής,
σίγουρα είναι καθοριστικής σημασίας για την επικοινωνία γενικά. Η γλώσσα πρέπει να
σχεδιαστεί (ή να αναπτυχθεί) με γνώμονα το σύνολο των πραγμάτων που οι άνθρωποι θέλουν να
πουν˙ αλλά μη μπορώντας να τα καταφέρει όλα, θα πρέπει να τα καταφέρνει όσο το δυνατόν
καλύτερα, όσο πιο συχνά γίνεται. Δηλαδή θα πρέπει να ασχοληθεί και αυτή στατιστικά με το
έργο της.

Η έννοια της πληροφορίας η οποία συσχετίζεται με μια πηγή οδηγεί άμεσα, όπως είδαμε, σε μια
μελέτη της στατιστικής δομής της γλώσσας˙ και αυτή η μελέτη αποκαλύπτει για την αγγλική
γλώσσα, για παράδειγμα, πληροφορίες που φαίνονται σίγουρα σημαντικές για τους μαθητές
κάθε φάσης της γλώσσας και της επικοινωνίας. Η ιδέα της χρήσης του σκληρού πυρήνα της
θεωρίας σχετικά με τις διαδικασίες Μάρκοφ φαίνεται ιδιαίτερα ελπιδοφόρα για σημασιολογικές
μελέτες, καθώς αυτή η θεωρία είναι ειδικά προσαρμοσμένη για να χειριστεί μια από τις πιο
σημαντικές αλλά δύσκολες πτυχές του νοήματος, δηλαδή την επίδραση του περιεχομένου.
Κάποιος έχει την αόριστη αίσθηση ότι η πληροφορία και το νόημα μπορεί να αποδειχθούν κάτι
σαν ένα ζεύγος κανονικά συζευγμένων μεταβλητών στην κβαντική θεωρία, που υπόκεινται σε
κάποιο κοινό περιορισμό, έτσι ώστε κάποιος να είναι καταδικασμένος να πρέπει να θυσιάζει τη
μία προκειμένου να έχει μεγάλη ποσότητα από την άλλη.

Ή ίσως το νόημα μπορεί να αποδειχθεί ότι είναι ανάλογο με ένα από τα μεγέθη από τα οποία
εξαρτάται η εντροπία ενός θερμοδυναμικού συνόλου. Η εμφάνιση της εντροπίας στη θεωρία,
όπως αναφέρθηκε προηγουμένως, είναι σίγουρα ιδιαίτερα ενδιαφέρουσα και σημαντική. Ο
Έντινγκτον έχει ήδη αναφερθεί σχετικά, αλλά υπάρχει ένα άλλο απόσπασμα στο «Η φύση του
φυσικού κόσμου» που φαίνεται ιδιαίτερα εύστοχο και υποδηλωτικό:

30
«Ας υποθέσουμε ότι μας ζητήθηκε να τακτοποιήσουμε τα ακόλουθα σε δύο κατηγορίες-
απόσταση, μάζα, ηλεκτρική δύναμη, εντροπία, ομορφιά, μελωδία. Νομίζω ότι υπάρχουν οι
καλύτεροι λόγοι για να τοποθετήσουμε την εντροπία δίπλα στην ομορφιά και τη μελωδία, και
όχι μαζί με τα τρία πρώτα. Η εντροπία εμφανίζεται μόνο όταν τα μέρη αντιμετωπίζονται σε
συσχέτιση, και όταν βλέπουμε ή ακούμε τα μέρη το ένα σε σχέση με το άλλο, τότε διακρίνονται
η ομορφιά και η μελωδία. Και τα τρία αυτά είναι χαρακτηριστικά διευθέτησης. Είναι μια
ενδιαφέρουσα σκέψη ότι μία από αυτές τις τρεις συνεργάτιδες θα πρέπει να θεωρηθεί ως μια
συνηθισμένη ποσότητα της επιστήμης. Ο λόγος για τον οποίο αυτή η ξένη μπορεί να κυκλοφορεί
ανάμεσα στους ιθαγενείς του φυσικού κόσμου είναι ότι μπορεί να μιλήσει τη γλώσσα τους,
δηλαδή τη γλώσσα της αριθμητικής.»

Είμαι σίγουρος ότι ο Έντινγκτον θα ήταν πρόθυμος να συμπεριλάβει τη λέξη «νόημα» μαζί με
την ομορφιά και τη μελωδία. Και υποπτεύομαι ότι θα ενθουσιαζόταν βλέποντας, σε αυτή τη
θεωρία, ότι η εντροπία δεν μιλάει μόνο τη γλώσσα της αριθμητικής˙ μιλάει και τη γλώσσα της
γλώσσας.

31
Σημειώσεις

1
Η παρούσα εργασία είναι γραμμένη σε τρεις κύριες ενότητες. Στην πρώτη και στην τρίτη, ο
Γουώρεν Γουίβερ είναι υπεύθυνος τόσο για τις ιδέες όσο και για τη μορφή. Το μεσαίο τμήμα,
δηλαδή «2) Προβλήματα Επικοινωνίας Επιπέδου Α,» είναι μια ερμηνεία μαθηματικών εργασιών
από τον Δρ. Κλωντ Σάννον των Bell Telephone Laboratories. Το έργο του Δρ. Σάννον έχει τις
ρίζες του, όπως έχει επισημάνει ο Τζον φον Νόιμαν, στην παρατήρηση του Λούντβιχ
Μπόλτσμαν, σε ορισμένες από τις εργασίες του για τη στατιστική φυσική (1894), ότι η εντροπία
σχετίζεται με τη «χαμένη πληροφορία,» καθώς έχει να κάνει με τον αριθμό των εναλλακτικών
δυνατοτήτων που παραμένουν δυνατές σε ένα φυσικό σύστημα αφού έχουν καταγραφεί όλες οι
μακροσκοπικά παρατηρήσιμες πληροφορίες που το αφορούν. Ο L. Szilard (Zsch. f. Phys. Vol.
53, 1925) επέκτεινε αυτή την ιδέα σε μια γενική συζήτηση για την πληροφορία στη φυσική, και
ο φον Νόιμαν («Mathematical Foundation of Quantum Mechanics,» Βερολίνο, 1932, Κεφ. V)
επεξεργάστηκε την έννοια της πληροφορίας στην κβαντική μηχανική και στη σωματιδιακή
φυσική. Το έργο του Δρ. Σάννον συνδέεται πιο άμεσα με ορισμένες ιδέες που αναπτύχθηκαν
πριν από περίπου είκοσι χρόνια από τους Harry Nyquist και Ralph Hartley, των εργαστηρίων
Bell˙ και ο Δρ. Σάννον έχει τονίσει ο ίδιος ότι η θεωρία της επικοινωνίας οφείλει μεγάλο χρέος
στον καθηγητή Νόρμπερτ Βίνερ για μεγάλο μέρος της βασικής της φιλοσοφίας. Ο καθηγητής
Βίνερ, από την άλλη πλευρά, επισημαίνει ότι η πρώιμη εργασία του Σάννον για τη μεταγωγή
κυκλωμάτων και τη μαθηματική λογική προηγήθηκε του δικού του ενδιαφέροντος σε αυτόν τον
τομέα, και γενναιόδωρα προσθέτει ότι ο Σάννον σίγουρα αξίζει τα εύσημα για την ανεξάρτητη
ανάπτυξη τέτοιων θεμελιωδών πτυχών της θεωρίας, όπως η εισαγωγή εντροπικών ιδεών. Ο
Σάννον φυσικά ενδιαφέρθηκε ιδιαίτερα να ωθήσει τις εφαρμογές στην επικοινωνιακή μηχανική,
ενώ ο Βίνερ ασχολήθηκε περισσότερο με τη βιολογικές εφαρμογές (φαινόμενα του κεντρικού
νευρικού συστήματος, κ.λπ.).

2
«Όταν ο Oskar Pfungst (1911) απέδειξε ότι τα άλογα του Έλμπερφελντ, που έδειχναν
θαυμάσιες γλωσσικές και μαθηματικές ικανότητες, απλώς αντιδρούσαν στις κινήσεις του
κεφαλιού του εκπαιδευτή, ο κύριος Krall (1911), ο ιδιοκτήτης τους, ανταποκρίθηκε στην κριτική
με τον πιο άμεσο τρόπο. Ρώτησε τα άλογα αν μπορούσαν να δουν τόσο μικρές κινήσεις, και
εκείνα απάντησαν με ένα κατηγορηματικό «Όχι.» Δυστυχώς δεν μπορούμε όλοι να είμαστε τόσο
σίγουροι ότι οι ερωτήσεις μας γίνονται κατανοητές, ή να έχουμε τόσο σαφείς απαντήσεις.»
Βλέπε Lashley, K. S., «Persistent Problems in the Evolution of Mind,» στο «Quatterly Review of
Biology,» τ. 24, Μάρτιος, 1949, σελ. 28.

3
Όταν mx = y, τότε το x λέγεται ο λογάριθμος του y με βάση το m.

4
Η εκτίμηση του 50 τοις εκατό υπολογίζει μόνο τη στατιστική δομή σε περίπου οκτώ γράμματα,
έτσι ώστε η τελική τιμή να είναι πιθανώς λίγο μεγαλύτερη.

5
Μην ανησυχείτε για το σύμβολο «μείον.» Οποιαδήποτε πιθανότητα είναι ένας αριθμός
μικρότερος ή ίσος του ενός, και οι λογάριθμοι αριθμών μικρότερων του ενός είναι αρνητικοί.
Επομένως το αρνητικό πρόσημο είναι απαραίτητο προκειμένου το H να είναι στην
πραγματικότητα θετικό.

6
Ας θυμηθούμε ότι η χωρητικότητα C αφορά πληροφορία που μεταδίδεται ανά δευτερόλεπτο,
και επομένως μετρείται σε bit ανά δευτερόλεπτο. Η εντροπία H εδώ μετρά πληροφορία ανά
σύμβολο, έτσι ώστε ο λόγος C/H μετρά σύμβολα ανά δευτερόλεπτο.