You are on page 1of 10

Prof. Dr.-Ing. R.

Martin
Institut f ur Kommunikationsakustik
Lehrstuhl f ur Allgemeine Informationstechnik
Ruhr-Universitat Bochum
Grundlagen der Informationstechnik I
Aufgabenblatt 11 Informationstheorie
Aufgabe 11.1: Gemeinsame Codierung mehrerer Symbole
Es wird eine Nachrichtenquelle betrachtet, die drei verschiedene Symbole A, B oder C aussen-
den kann. Es wird angenommen, dass alle Symbole mit gleicher Wahrscheinlichkeit auftreten
und aufeinander folgende Symbole voneinander unabhangig sind.
a) Wie gro ist der Entscheidungsgehalt eines Symbols?
b) Geben Sie einen Fano-Code und den zugehorigen Entscheidungsbaum zur Codierung
dieser Symbole an.
c) Wie gro ist die mittlere Codewortlange?
d) Wie gro ist die Coderedundanz?
Nun sollen zwei aufeinander folgende Symbole der Quelle codiert und ubertragen werden.
e) Geben Sie die karthesische Produktmenge f ur zwei aufeinanderfolgende Zeichen und
die zugehorigen Auftrittswahrscheinlichkeiten der Zeichenpaare an.
f) Entwerfen Sie einen Fano-Code f ur die gemeinsame Codierung zweier aufeinander fol-
gender Symbole. Geben Sie den zugehorigen Entscheidungsbaum, die mittlere Code-
wortlange und die Coderedundanz an.
Aufgabe 11.2: Mittlerer Informationsgehalt
Es werde die in Bild 1 gezeigte binare Quelle betrachtet, die eine Folge von unabhangigen
0 und 1 Symbolen liefert. Das 0 Symbol tritt mit einer Wahrscheinlichkeit von P(0)
= 0.4 auf.
Zunachst wird nur ein einzelnes Symbol der Quelle betrachtet.
a) Wie gro ist der Entscheidungsgehalt pro Symbol?
b) Wie gro ist der mittlere Informationsgehalt (Entropie) pro Symbol?
1
Nachrichten-
quelle
. . . 0 0 1 0 1 0 1 1 . . .
Bild 1: Binare Quelle
Nun werden drei aufeinanderfolgende Symbole der Quelle betrachtet, wobei von unverander-
ten Auftrittwahrscheinlichkeiten einzelner Symbole ausgegangen wird.
c) Geben Sie die karthesische Produktmenge und die Auftrittswahrscheinlichkeiten ihrer
Elemente an.
d) Entwickeln Sie einen Human-Code zur Codierung dreier aufeinander folgender Sym-
bole.
e) Geben Sie den zugehorigen Entscheidungsbaum an.
f) Wie gro ist die Coderedundanz?
Aufgabe 11.3: Codierung unabhangiger Quellen
Gegeben sind zwei taktsynchron betriebene, statistisch voneinander unabhangige Nachrich-
tenquellen, die beide jeweils drei verschiedene Symbole generieren konnen.
Die Symbole der Quellen treten mit den folgenden Wahrscheinlichkeiten auf:
Symbole 1 2 3 4 5 6
Wahrscheinlichkeit Quelle 1 0.3 0.5 0.2 0 0 0
Quelle 2 0 0 0 0.25 0.35 0.4
a) Geben Sie f ur jede Quelle getrennt die Menge der Elementarereignisse an.
b) Entwerfen Sie f ur jede Quelle zur optimalen Codierung der Symbole einen Human-
Code! Bestimmen Sie die Redundanzen der beiden Codes!
Die zu einem Zeitpunkt generierten Symbole (dezimale Ziern) der beiden Quellen sollen als
zweistellige Dezimalzahl interpretiert werden, wobei Quelle 1 die hoherwertige Stelle erzeugt.
c) Geben Sie die Menge aller Elementarereignisse an, die aus der gemeinsamen Betrach-
tung beider Quellen resultiert.
d) Mit welchen Wahrscheinlichkeiten treten die speziellen Zahlen

25 und

34 auf?
e) Entwerfen Sie zur Codierung der zweistelligen Dezimalzahlen einen Fano-Code!
f) Ist eine Codierung der Quellinformation in Form der zweistelligen Dezimalzahlen g unsti-
ger als in Form der einzelnen Ziern? Begr unden Sie Ihre Antwort und ber ucksichtigen
Sie dabei, dass unterschiedliche Codierverfahren f ur den einstelligen bzw. zweistelligen
Fall verwendet wurden.
2
111..1 t -1./ E. <- .... k f'.-.r . rr (.
___ v
-
Q = { A I TI, (} 11/"- J
rCA) p{ [J) = r({) == -t == 1 I oie<. l
.tf
I'FP'
_
- 4., (2 ) . L"t ( 3 ) = 1, rg b: I
fym60k
1> Code UOv
'r A
%

X
-1
'1
=

110
1
O/l
5.5" c
r
-
0
D
{A, Eie]
0/
[E, CJ
0/
I/ 1 "
[(] f E
J
I
00
Ir
11 I,
01
E[ L] = L ( f,') . F(fi )
,
= LCA)' r(A) + L{ ). fC[J) + LC (). p({)
-
r
;j 1
1
/(
',i
-
t
L'
..J
J
+ 2
J
= -

6:

Co rJ..t re- cA Co-- "t= :
E [LJ - H
YL =
H
w w
H= Lp( A:) T ( A,,) == - L fCA,') {Ot 7.- ( P( I: )
;:-., ;, 'I
'vJo.. , t
-1,

-) v.
(

E
-+ f)
sr.. (;s !,;t\
I t.< ....
f Q. rp
AA
tt
A
1)
A(
A,tj

'/
(.
C A
(

(
L
]
;1
] 0
1
0
}
0
1
0
1
0

]0
1
0
>(
X
>(
>(
-1
()
Lt
t
(0
11
/\
1\
-1
()
0
0
0
Cl
}o +
-1 11
/l 0
0
1
0 0
-1
1
-1
() -1
1
o 0
0
If
c>
C>
1
= ,22 b:f
c..
'---
I
E{ L 3; 1-. 3 . 1
j
+ L
H := - P ( A ). (Ot 1. (p r . )
E.
H
"1 '22. - ..5, '1'1
]Ct5 kot--- Va", JY"- oLeh.. Z:t/( Vl
rr oio- 2:
111 L
F{ 0) =
Ho = L0
1
~ ( v) bI I ;; Lo? ~ ( 2I ::: ! b.. ~
11
H" - Z pc,.(.:) . to&, 2- ( P( .)) \
~ - (0, . (
1
" 0, ({ -t 0, b . 0 ~ 0(6)
- 0, .1
c + J.
0, 21 b VI I( 4 <t
'\'
tr1) P(1) P(
1
)
f
.;1 11
0-(.16
I
'1
O,1GO
11 0
"1111 f1. f
1
110
o
1
1/10
001
o
0-10
o

00

- (

(0 f
CI, 'Z.-'16
.f t1 0
1 C/ ,., C{ V
I'1t7U
(
/IOd
,

-1 0
10
0
() 1 "
, "fr V
() () ..{
I
CJ 1 0
11 0
0, rJ
/(00
/1-10;1 ()
11 00
=) j,e ULt'-fCAL /.1".. (och,.".,
/ Wv- So
U'r.,vtp (Oc:M. ,0-)
--
(c, ::
r; [L _ ('1 . G, 'Z -1 ,
0, 14 ~ 3 -t
CI, 0 b' 2 -t 4 (), 0 6
-t ~ . 0, 0 G ~ )
0, "6)
-) Yc. = l, ~ YCf - 2,
- -'1,06%
7, 3
4
3
- [/1, 1., 3 J
1\0
Z f"
1 \.
'1 J
(0
r;.,o
..,)
(
I"""
=-)
"(
1
I(
;1
J
() CJ
2..
f
0,( 0,1.
r
v-
f
o (
I
(J"/e; Ct,'2<;"""

f /I I frf,,):: 0,6
(oofe
f Sl( lA-
=)
"1 b
<; Cl",
cr o()
I - ( 0 , (" (" L o( - ) -f . '. ) Iod
::-) '(-1
(
-1, () 1 %
f. L
/1,
-

-1
"1,
6;1
0, r -/ 7' o,J
t. I .,
y 2 0, L
Y(1
,
-
(( ,7..:0 /;. f L. -1-1
H= b:1
H
t.. . 1
Y(,'l.: (t6,?
I
,.
(,..
'"""' r
w 1( /((" 24 3 (,
(2.::
r
I( 4I
I
I
I
I
Z.

0, I
fC'lS '):
P('"2')'p(
) -
---

&j
CI 4
_ ()/ r
f ( f:!. 'r ") -
f{" 3 ').
P( 4 )
-
7 .
-:::=:
11
101 .
-100
o 1 4
6 1 0"
0
]) ..
... = ,01\ I
CJ CJ4 1
() 0 -1
1
(
o
1
11 X
11
o
p
17)
I
O,l
-17
I
007
(
16
(
vI' ............
___
o "1
I
oo()1
o C)
If, f
3+ 3,/( vi
:=) Cl "'" 0 - ("cf) 0-./ 'r '2 GU' 0 "'-- ;</cA/.)Ir y'--.
. tv r oL:t ..i-. CA-(. ?t.v..f- - 0(>(,.' v "(y
.. .,
Y1- = 'S,G v?o
= A - !:!-.
0/ 3," 90
1-/
6
,
YCf"L : (G'r
-1-
Ho
11