第 1 章：概述

第 2 章：离散信源熵
第 3 章：无失真信源编码
第 4 章：离散信道容量

第 5 章：纠错编码
第 3 章：无失真信源编码
3.1 基本概念

3.2 离散无失真信源编码定理

3.3 香农编码
3.4 费诺编码
 3.1 基本概念

信道
信源 信源编码 加密 信道编码 信道译码 解密 信源译码 信宿
 3.1 基本概念
 信源编码是以提高通信的有效性为目的编码。
 通常通过压缩信源的冗余度来实现。
 采用的一般方法是压缩每个信源符号的平均比
特数或信源的码率。同样多的信息用较少的码
率来传送，使单位时间内传送的平均信息量增
加，从而提高通信的有效性。
信源编码的基本途径有两个：
 使序列中的各个符号尽可能地互相
独立，即解除相关性；
 使编码中各个符号出现的概率尽可
能地相等，即概率均匀化。
信源编码的基础是信息论中的两个编码定理：
无失真信源编码定理

限失真信源编码定理
无失真编码只适用于离散信源
限失真编码只能在失真受限制的情况下进行连续
信源编码
第 3 章：无失真信源编码
3.1 基本概念

3.2 离散无失真信源编码定理
3.3 香农编码
3.4 费诺编码
 对离散无记忆信源，消息长度为 L ，符
号熵为 H(X), 对信源进行 m元变长编码，一
定存在无失真的信源编码方法，
其码字平均长度 K 满足：
LH ( X ) LH ( X )
1 K
log m log m

其码字平均信息率 R 满足：
H (X )  R  H (X )  
 3.3 香农编码
 X   a 1 , a 2 ,  , a i , , a n 
    
P(X) p(a1 ),p(a 2 ), ,p(ai ), ,p(a n )
其中p ( ai )满足
n
0  p(ai )  1, p(ai )  1
i 1
香农编码方法的步骤
1 按信源符号的概率从大到小的顺序排队
不妨设 p(a 1 )  p(a 2 )  ......  p(a n )
2 令 p(a
a 0 )  ,0 用 p a(a j )(j  i 
表示第
1) i 个码字
的累加概率，
j 1
p a(a j )   p(a i ),(j  1,2,..., n)
i0

3  log 2 p(a i )  k i  1  log 2 p(ai )

4 把p a (a j )用二进制表示，小数点后的k位
作为a i的码字
 例

设有一单符号离散无记忆信源
 X   a1 a2 a3 a4 a5 a6 
    
P(X) 0.25 0.25 0.2 0.15 0.1 0.05
试对该信源编二进制香农码。
 j 1
编码过程 （ 1 ） p a(a j )   p(ai )
i0

p a(a j ) k i 码字
a1 0.25 0 2 00
a2 0.25 0.25 2 01
a3 0.2 0.5 3 100
a4 0.15 0.7 3 101
a5 0.1 0.85 4 1101
a6 0.05 0.95 5 11110
 H ( X )  2.42
K
R  log 2 m  K
L
6
K   p(a i
)k i  2.7
i 1

H(X)
η   89.63%
R
 3.4 费诺编码
按信源符号的概率从大到小的顺序排
1
, 妨设
队不
p(a 1 )  p(a 2 )  ......  p(a n )

2 对概率按 m进行分组，使每组概
率尽可能相等
3 给每个分组分配一个码元
4 对每个分组重复 2 、 3 步，直到不可
分为止
 例

设有一单符号离散无记忆信源
 X   a1 a2 a3 a4 a5 a6 
    
P(X ) 0.32 0.22 0.18 0.16 0.08 0.04 
试对该信源编二进制费诺码。
编码过程
a1 0.32 0 00

a2 0.22 0 1 01

a3 0.18 0 10

a4 0.16 0 110

a5 0.08 1 1 0 1110
1
a6 0.04 1
1111
 H ( X )  2.35(bit / sym )
K
R  log 2 m
L
HX)
η  97.92%
R
6
K   p(a i
)k i  2.4(比特/符号)
i 1

可以看出本例中费诺码有较高的编码效率。
费诺码比较适合于每次分组概率都很接近的信源。
树图：
0 a1
0
1 a2
0 a3
1
0 a4
1 0
1 a5
1 a6