You are on page 1of 29

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.

tw
或來電(02)2705-5066
本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
或來電(02)2705-5066
本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
或來電(02)2705-5066
本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
或來電(02)2705-5066
本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
或來電(02)2705-5066
本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
或來電(02)2705-5066
本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
或來電(02)2705-5066
本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
或來電(02)2705-5066
第一章 編碼與消息理論簡介 1

消息源
消息源編碼 通道編碼 調變

雜訊 通道

目的地
消息源解碼 通道解碼 解調

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
2 數位通訊原理—編碼與消息理論

1.1 介紹

一典型的數位通訊系統如圖 1.1 所示,最主要包括三部份即消息


源編解碼、通道編解碼以及調變解調。而消息源及通道的編解碼主要
包括消息理論以及其編碼技術。嚴格來講消息理論的發展大部分源自
於夏隆(Shannon)在 1948 年所發表的一篇文章“A Mathematical
Theory of Communication"。在夏隆發表的這篇文章之前,大部分的
人都認為通道的雜訊限制了消息的傳送量,亦即在固定的傳送信號功
率下所傳送的消息速率必須降低方可達到所需的接收錯誤率。但夏隆
的文章糾正了這個錯誤的觀念,夏隆證明了每一個合理的通道都有一
不為零的通道容量,任何消息傳送的速率只要小於通道的容量,那麼
任何極小的接收錯誤機率都可以達到﹔換言之接收錯誤率及消息傳送
速率是可以獨立討論的。

消息源
消息源編碼 通道編碼 調變

雜訊 通道

目的地
消息源解碼 通道解碼 解調

圖 1.1 數位通訊系統方塊圖

本書將針對消息源及通道的編解碼技術以及其所需的消息理論加
以介紹及探討。雖然有些研究將消息源及通道的編解碼一起考慮,但

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
第一章 編碼與消息理論簡介 3

基本上消息源及通道的編解碼是可以獨立地各自探討。在通道編解碼
中可區分成兩種,一為通道傳輸碼(即所謂的錯誤訂正碼)及通道轉
換碼(即所謂的調變碼)
,如圖 1.2 所示。在一般脈波調變通道中,有
些通道可能對於傳送的信號規格或形式有某些限制,因此必須透過通
道轉換碼或調變碼來編碼使得傳送的脈波信號符合通道的需求。例如
在資料儲存系統如磁碟磁帶系統及光碟系統,由於其調變信號以二位
元脈波波形為主,為了要符合資料儲存通道的需求如無直流或低頻成
份的記錄信號或為增加系統的記錄密度及提供時序回復消息,一般都
透過所謂的(d,k)調變編碼來改變記錄的波形以符合通道的需求。在”
數 位 通 訊 原 理 — 調 變 解 調 ” 一 書 中 將 針 對 ( d,k ) 調 變 碼 ( ( d,k )
Modulation Codes) 的容量及其功率頻譜密度加以介紹及描述,並探討
一些常用資料儲存系統的(d,k)編解碼技術。

錯誤更正碼編碼 調變碼編碼 通道 雜訊

錯誤更正碼解碼 調變碼解碼

圖 1.2 通道編解碼方塊圖

另一類的通道碼就是用得極為廣泛的通道錯誤訂正碼,由於通道
受到雜訊的干擾,因此在接收端無法避免地會發生錯誤。為了要有高
可靠度的消息傳輸,必須利用錯誤訂正碼加以克服,本書首先將探討
通道錯誤訂正碼,其中除了將介紹兩類廣為應用的錯誤訂正碼,即區
塊碼及迴旋碼,探討其編解碼技術並分析其性能之外,並將介紹通道

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
4 數位通訊原理—編碼與消息理論

的容量及利用隨機編碼理論證明夏隆的理論。
在消息源編解碼部份,也可分為兩大類:一為無失真壓縮碼(即
所謂的熵碼)
,一為失真壓縮碼,如圖 1.3 所示。一消息源可能會存在
許多冗餘的資訊而不須傳送,為了提高消息傳送速率,可將這些冗餘
資訊刪除,再傳送出去。而在接收端可以將這些壓縮過的資料還原而
不產生失真,這就是所謂的無失真壓縮碼或稱為唯一可解碼或熵碼。
本書將介紹消息源的消息含量或稱為熵函數,一消息源的熵函數代表
此消息源可壓縮碼率的一個下限﹔另外將介紹一些熵編碼技術如霍夫
曼編碼、算術編碼以及吉輔-藍普編碼。消息源之另一類編解碼稱為
失真壓縮碼,經過此壓縮碼後有些資訊會遺失,因此在接收端還原的
資訊會產生失真。本書將探討失真壓縮碼的理論:碼率失真理論 (Rate
Distortion Theory)及一些編碼技術如量化、轉換編碼……等壓縮技術。

失真壓 無失真 無失真壓 失真壓

縮編碼 壓縮編 縮解碼 縮解碼

圖 1.3 消息源編解碼方塊圖

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
第一章 編碼與消息理論簡介 5

1.2 錯誤訂正碼介紹

錯誤訂正碼在數位通訊系統設計中佔著非常重要的關鍵角色,其
由來源始於 1948 年夏隆(Shannon)所提出的編碼理論,在他的理論
中證明,每一受雜訊干擾的通道都有一容量,一數位通訊系統中消息
或資料可透過適當錯誤保護及訂正碼的編碼,其碼率 R 小於容量 C,
使得因通道雜訊造成的消息或資料錯誤可以減小到系統所需的程度。
第六章將探討通道的容量以及通道容量的計算,並且利用賈洛格
(Gallger) 提出的隨機編碼理論來證明夏隆的編碼理論。由於夏隆的理
論,並未談及該如何去編碼及解碼,因此往後幾十年間,便有一大堆
編碼專家開始投注精力去尋找好的錯誤訂正碼,及各種編碼和解碼技
巧以及其電路的實現,使得數位通訊系統的傳輸具有更高的可靠度。
錯誤訂正碼的種類最主要可區分為兩類:區塊碼(Block Code)
及迴旋碼 (Convolutional Code)。在區塊編碼中,將每一固定長度 k
位元的消息 (Message) 區塊 u = (u 0 , u1 , K , u k −1 ) 以長度為 n 位元的所
謂碼字(Codeword) v = (v 0 , v1 , K , v n −1 ) 來表示,假設消息源及碼字源

符號皆為二位元,那麼 k 位元的消息區塊碼總共有 2 k 個不同的消息區


塊,因此必須從 2 n 個可能的碼字中找出 2 k 個碼字來與之對應。這 2 k 個
長度為 n 位元的碼字稱為一(n,k)區塊碼,R=k/n 稱為區塊碼的碼率。
一般而言,若要具有偵測或訂正能力,一錯誤訂正碼的碼率 R 需小於
1﹔換言之,必須在消息或資料區塊中加入冗餘的(n-k)個位元資訊
(Redundancy)
。區塊碼中碼字區塊間是相互獨立的,亦即碼字區塊間
之編解碼是不相關的。

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
6 數位通訊原理—編碼與消息理論

例 1.1

考慮一二位元{0,1}之消息及碼字,如果將每一消息位元以二碼
字位元來表示,即

消息 碼字
0 00
1 11

此碼為一(n,k)=(2,1)的區塊碼,稱為 (2,1) 重複碼 (Repetitive


Code) ,因為碼字中二個位元複製了消息位元,其碼率為 R=1/2,
可做單一錯誤的偵測用。在碼字中產生任一錯誤都可偵測得出
來,因為二碼字中若產生單一錯誤,其 1 的個數和成為奇數,與
原先碼字中位元為 1 的個數和為偶數不符,因此單一錯誤都可偵
測出,因此又可稱為(2,1)奇偶檢驗碼 (Parity Check Code)。但此
碼無法將錯誤訂正回來,因為二碼字中若產生任何單一錯誤,其
收到的序列與兩個碼字距離相等,因此無法判斷所傳送的到底是
那一個碼字。

例 1.2

例 1.1 中,如果將每一消息位元以三碼字位元來表示,即

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
第一章 編碼與消息理論簡介 7

消息 碼字
0 000
1 111

此碼即為一具有訂正單一錯誤能力的(n,k)=(3,1)區塊碼,或
稱為 (3,1) 重複碼,其碼率 R=1/3。在兩個碼字中發生任一個錯
誤都可訂正回來,因為單一錯誤產生時,解碼器還是可以分辨出
到底比較靠近哪一個碼字。如下圖所示,假如碼字為 000,而收
到序列為 001, 010 或者 100 時,其與碼字 000 的漢明距離(=1)較
與碼字 111 的漢明距離(=2)小,因此解碼器會選擇 000 為所傳送
的碼字;也就是說此(3,1)重複碼可以訂正單一錯誤。

(0 1 1) (1 1 1)
(0 0 1)
(1 0 1)

(0 1 0) (1 1 0)
(0 0 0)
(1 0 0)

由例 1.1 的例子可以延伸建構一 (k+1,k) 奇偶檢驗碼,在每一


k 位元消息區塊 u = (u 0 , u1 , K , u k −1 ) 之後加進一冗餘的位元 v k 當成碼字
v = (u 0 , u1 , K , u k −1 , v k ) 。如果消息區塊 u 中 1 的數目和為奇數時令

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
8 數位通訊原理—編碼與消息理論

v k = 1 。反之,如果消息區塊 u 中 1 的數目和為偶數時令 v k = 0 。利
用例 1.1 之判斷法則於任一 (k+1,k) 奇偶檢驗碼同樣地可以偵測出任
何 單 一 的 錯 誤 , 因 此 (k+1,k) 奇 偶 檢 驗 碼 又 可 稱 為 單 一 錯 誤 偵 測 碼
(Single-error-detecting Code) ,奇偶檢驗碼常用於電腦資料的保護。而
由例 1.2 的例子也可以延伸建構一(n,1)重複碼,一(n,1)重複碼起碼可

以訂正 ⎢(n − 1) ⎥ 個錯誤,其中 ⎣x ⎦ 代表小於 x 的最大整數。重複碼常


⎢⎣ 2 ⎥⎦

用 於 無 線 通 訊 系 統 資 料 的 保 護 , 尤 其 常 被 用 作 時 間 分 集 (Time
Diversity)來克服通道中的多重路徑衰減。
在迴旋碼中,每一長度為 k 位元的消息區塊 u = (u 0 , u1 , K , u k −1 ) 一
樣對應到一 n 位元碼字區塊 v = (v 0 , v1 , K , v n −1 ) ,只不過所對應的碼字
是由目前的消息區塊以及之前 m 個消息區塊來共同決定。這樣的碼稱
為一(n,k;m)的迴旋碼,其碼率 R=k/n<1,而 m 稱為迴旋碼的記憶長
度。

例 1.3

考慮圖 1.4 中之(2,1;1)迴旋碼,當消息序列為 u=(10111…)


時,其對應的碼字 v=(11,01,11,10,10,…)。

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
第一章 編碼與消息理論簡介 9

v (1) 代表位移暫存

u v 代表 XOR 電路
(2)
v

代表多工器

圖 1.4 (2,1;1)迴旋碼

上面三個例子都只是非常簡單的例子,往後幾章將探討更複雜的
區塊碼及迴旋碼。在受雜訊干擾的通道中,其錯誤的產生大部分隨機
的錯誤(Random Error)
,但是有時候錯誤的產生是一整串的,稱為叢
錯誤(Burst Error),例如在通訊中若失去同步或者在 CD 的刮痕都可
能造成叢錯誤。一般錯誤叢的解決方法都是以交錯(Interleaving)來
克服,亦即將碼字交錯之後再送出通道,如此接收時若有叢錯誤發生,
其在每一個碼字所造成的錯誤都可以以一隨機錯誤視之。因此往後幾
章並不去探討針對叢錯誤的編碼,而只是去探討克服隨機錯誤的編碼。
通訊系統的傳輸中,一般而言都是單向的,即從傳送端到接收端,
在單向系統中錯誤訂正碼也只能以單向來解碼,亦即在接收端作單純
錯誤偵測或者錯誤訂正。但有些通訊系統的傳輸是雙向的,也就是傳
送端也可成為接收端,反之亦然。在雙向的系統中,錯誤訂正碼在解
碼或偵測過程中若發現雜訊太大以致於解碼發生困難時,可以要求傳

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
10 數位通訊原理—編碼與消息理論

送端重新再送原資料直到資料或消息無誤為止,這種重送過程稱為自
動回詢重發(Automatic Repeat Request, ARQ)。

1.2.1 離散無記憶通道(Discrete Memoryless Channel)

一典型的數位通訊系統包括消息源的編解碼,通道錯誤訂正編解
碼以及數位資料的調變解調器。而為了要分析錯誤訂正碼的性能,往
往將原本為連續的通道及調變解調器看成離散通道,如圖 1.5 所示。
倘若接收的信號只與當時對應區間傳送的信號有關,而與其他區間之
信號無關,這樣的通道便稱無記憶通道。在通道無記憶的情況下,假
設調變為一 J-階(J-ary)的信號及解調器為一 K-階(K-ary)量化輸
出,那麼圖 1.5 便可簡化成一離散無記憶通道(Discrete Memoryless
Channel, DMC ), 如 圖 1.6 所 示 。 在 離 散 無 記 憶 通 道 中
x ∈ {a 0 , a1 , K , a J −1 } 代表 J-階的調變信號, y ∈ {b0 , b1 , K , b K −1 } 代表 K-
階的量化輸出,而 Q (bk a j ) 代表輸入為 a j 時,通道輸出為 bk 的機率。
{Q (bk a j )} 為一 J × K 矩陣,稱為離散無記憶通道的順向機率轉態矩陣

(Forward Probability Transition Matrix)


,代表離散無記憶通道的特性。

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
第一章 編碼與消息理論簡介 11

u 編碼器 v 調變器 s(t)


AWGN:可加白色高斯

雜訊 n(t) AWGN 通道 雜訊(Addititive White

Gaussian Noise)
û r
解碼器 解調器
r(t)=s(t)+r(t)

離散無記憶通道
圖 1.5 通道模型

X Q (b0 a0 ) Y
a0 Q (b1 a0 ) b0
a1 b1
aj bk

a J −1 bK −1
Q (bK −1 a J −1 )

圖 1.6 J×K 非連續無記憶通道

例 1.4

考 慮 一 雙 相 移 鍵 調 變 ( Binary Phase Shift Keying,BPSK


Modulation),輸入資料為 0 時以 s0 (t ) 來調變﹔而資料為 1 時以
s1 (t ) 來調變,其中

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
12 數位通訊原理—編碼與消息理論

2E
s 0 (t ) = cos wt 0 ≤ t ≤ T
T
2E
s1 (t ) = cos( wt + π ) 0 ≤ t ≤ T
T

T: 代表位元區間
E: 代表位元能量

w = 2π 。
T

假設通道為一具可加性的白色高斯雜訊(Additive White Gaussian

T
0 1 1 0…
s(t) r(t)
BPSK T
∫0 ⋅ dt ρ
2E
n(t) cos wt
T

同調解調器

圖 1.7 BPSK 調變解調器

Noise)的通道,雜訊的平均值為 0,雙邊功率頻譜密度(Power
Spectral Density)為 N 0 / 2 。假設解調為一同調解調器之最佳接收
器 , 同 時 令 輸 出 為 一 二 位 元 之 量 化 器 或 硬 式 決 定 ( Hard
,如圖 1.7 所示。當 ρ ≥ 0 時輸出為 0﹔ ρ < 0 時輸出為 1。
Decision)
由圖 1.7 可知

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
第一章 編碼與消息理論簡介 13

T

2E
ρ= r (t ) cos wt dt
0 T
T

2E
= [ s(t ) + n(t )] cos wt dt
0 T
T T
∫ ∫
2E 2E
= s(t) cos wt dt + n(t) cos wt dt
0 T 0 T
=S+N

T 2E T 2E
其中 S ≡ ∫0 s(t) cos wt dt , N ≡ ∫0 n(t) coswt dt
T T

⎧ E 當s (t ) = s0 (t )時或資料為0時
S=⎨
⎩ − E 當s (t ) = s1 (t )時或資料為1時

T 2E
E [ N ] = ∫0 E[n(t )] ⋅ cos wt dt = 0
T

σ 2 = Var[ N ] = E[ N 2 ] − ( E[ N ]) 2
= E[ N 2 ]
2E T T
= ∫0 ∫0 E [n(t )( n(τ )] cos wt cos wτ dtdτ
T
2E T T N0
= ∫0 ∫0 δ (t − τ ) cos wt cos wτ dtdτ
T 2
2E T N 0
= ∫ cos 2 wτ dτ
T 0 2
2E N 0 T N 0
= ⋅ ⋅ = ⋅E
T 2 2 2
x2
1 −
因 此 雜 訊 N 的 機 率 密 度 函 數 為 f N ( x) = e 2σ 2 ,其中
2πσ 2

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
14 數位通訊原理—編碼與消息理論

N0
σ2 = ⋅ E 為其變異數(Variance) 。
2

假設資料 0 或 s0 (t ) 被傳送,那可知 ρ 之機率密度函數為

( x − E )2
1 − N0
f ρ ( x s0 (t ) ) = e 2σ 2 ,σ 2 = ⋅E
2πσ 2 2

解調時若 ρ < 0 ,將被解調成 1 而發生錯誤,其錯誤機率為

0
Q (bk = 1 a k = 0) = ∫−∞
f ρ ( x s 0 (t )) ⋅ dx

( x − E )2
0 1 −
= ∫-∞ e 2σ 2 dx
2πσ 2

2E
= Q( )≡ p
N0
x2
∞ 1 −
Q ( x ) ≡ ∫x e 2 dx 為一Q-函數。

同時解對的機率 Q (bk = 0 ak = 0) = 1 − p 。

假設所傳送的資料為 1 或 s1 (t ) ,那可知 ρ 的機率密度函數為

( x + E )2
1 −
f ρ ( x s1 (t )) = e 2σ 2

2πσ 2

若 ρ ≥ 0 ,將被解調成 0,而產生錯誤,其錯誤機率為

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
第一章 編碼與消息理論簡介 15


Q (bk = 0 a k = 1) = ∫0 f ρ ( x s1 (t ))dx
( x + E )2
∞ 1 −
= ∫0 e 2σ 2 dx
2πσ 2

2E
= Q( )≡ p
N0

同時解調無誤的機率為 Q (bk = 1 ak = 1) = 1 − p 。

綜合(1)和(2)可知此連續通道可簡化成一二位元對稱通道
( Binary Symmetric Channel, BSC ) 如 圖 1.8 所 示 , 其 中

2E E
p = Q( ) 稱為錯誤轉態機率,由信號雜訊比 ( SNR = ) 來決
N0 N0

定。錯誤轉態機率 p 與信號雜訊比 E 的關係圖描繪在圖 1.9 中


N0

(實線曲線)。由圖知當信號雜訊比 E 很大時,錯誤轉態機率 p
N0

1
可以近似成為 p ≈ e −E N0
(虛線曲線)。
2πE / N 0

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
16 數位通訊原理—編碼與消息理論

0 1-p 0
p
⎡1 − p p ⎤
p Q=⎢
1 1 ⎣ p 1 − p ⎥⎦
1-p

圖 1.8 二位元對稱通道

0
10

-1
10

-2
10
p
-3
10

-4
10

-5
10

-6
10
-10 -5 0 5 10

E/N 0 (dB)
圖 1.9 p 與 SNR 關係圖

1.2.2 最大相似解碼 (Maximal Likelihood Decoding)

一消息區塊 u 經錯誤訂正碼編碼以後,其碼字 v 經由一離散無記


憶通道,由於受到通道雜訊的干擾,因此所接收或解調的序列 r 與原

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
第一章 編碼與消息理論簡介 17

來所送的碼字 v 可能不符。如何將收到序列 r 還原成一碼字區塊 v 或


其所對應的消息區塊 u 即稱為解碼﹔解碼規則可任意將收到序列 r 解
成任一碼字 v,可是如果解回來的碼字 ~
v 與所傳送的碼字 v 不同時,
會發生解碼錯誤。假設收到序列 r 時解碼錯誤機率定義成

P(e r ) ≡ P( ~
v ≠ v r)

v 與~
v 分別為傳送的碼字以及解回來的碼字。因此解碼錯誤機率 P(e)

P ( e) = ∑ q(r) ⋅ P(e r)
r

其中 q(r)代表接收序列的機率,與解碼的規則無關。而一最佳解碼規
則就是要使解碼發生錯誤機率 P(e)為最小的一種解碼規則,因 q(r)與
解碼規則無關,因此要使 P(e)最小也就是使所有 P ( ~
v ≠ v r ) 為最小或者
使 P( ~
v = v r ) 最大。利用貝氏公式(Bayes Formula)可知

Q(r v) ⋅ p( v)
P( v r ) =
q(r )

因此一最佳解碼規則要選擇一碼字 v 當作解碼的碼字 ~
v ,當

Q(r v) ⋅ p( v)
P( v r ) = 最大
q(r )

假設通道為一離散無記憶通道而且傳送的碼字之機率分布都相

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
18 數位通訊原理—編碼與消息理論

同,那麼要找尋 P ( v r ) 為最大之碼字 v 相當於找尋 Q (r v ) 為最大之碼


字 v,其中 Q (r v ) 可表示成

n
Q (r v ) = ∏ Q ( ri vi )
i =1

Q ( ri vi ) 為通道轉態機率。一解碼器選擇 Q (r v ) 為最大值之碼字 v 當作
解碼碼字 ~
v 稱為最大相似解碼器,假如傳送的碼字機率都相同,那麼
最大相似解碼器為一最佳解碼器。因為 Q (r v ) 牽涉到乘法,其計算或
硬體複雜度較高,因此找 Q (r v ) 為最大之碼字 v 可以找尋其自然對數
相似函數(Log-likelihood Function) log Q (r v ) 最大之碼字 v 來代替,
其中

n
log Q (r v ) = log ∏ Q ( ri vi )
i =1
n
= ∑ log Q ( ri vi )
i =1

最大相似解碼器只需要利用加法來解碼。雖然碼字機率不同時,
最大相似解碼法並不是一最佳解碼規則,但因大部分的通訊系統,在
接收端碼字機率分布情況並無法知曉,因此使得最佳解碼變得不可
行,而實際上往往以最大相似解碼來代替。

例 1.5

考慮一離散無記憶通道為一簡單二位元對稱通道(B.S.C)如圖
1.8 所描述。在二位元對稱通道下其通道轉態機率為

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
第一章 編碼與消息理論簡介 19

⎧1 − p 當ri = vi 時
Q ( ri vi ) = ⎨
⎩p 當ri ≠ vi 時

令 d(r,v)代表收到序列 r 與碼字 v 之漢明距離(代表位元不相


同的位置數)
,對一長度為 n 的區塊碼,其自然對數相似函數
可寫成

n
log Q(r v ) = ∑ log Q(ri v i )
i =1
= [n − d (r, v)] ⋅ log(1 − p) + d (r, v ) ⋅ log p
p
= d (r, v ) log + n log(1 − p )
1− p

p
當 p<0.5 時, log < 0 ,又由於 nlog(1-p)與碼字 v 無關,
1− p

因此要找自然對數相似函數最大之碼字 v 相當於找尋一碼字 v,
其與接收序列 r 之漢明距離為最小,此即為最大相似解碼器所解
的碼字 ~
v 。因此在二位元對稱通道中解碼只需簡單計算其漢明距
離即可解碼,例如例 1.2 中假設收到的序列 r=(001),那麼利用最
大相似解碼法則應會解成 ~
v =(000),因為碼字(000)與 r=(001)
之漢明距離為 1,比碼字(111)與 r=(001)之距離為 2 來得小。

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
20 數位通訊原理—編碼與消息理論

1.3 消息源壓縮編碼介紹

一般的消息源或通道之符號大致可區分為三種:離散符號、連續
符號以及波形符號。所謂離散符號指的是其符號源在離散時間點上包
含有限數目的符號,而連續符號指的是在離散時間點上的符號為連
續,換言之具有無窮多個符號。波形符號指的是時間及符號都是連續
的,亦即為一類比形式,一波形消息源或通道統稱為一類比消息源或
類比通道。雖然消息源或通道符號可能為一連續符號或波形符號,但
都可以利用取樣以及量化技術將這些符號轉換成一離散性符號,因此
本書將只針對離散消息源或通道來探討其理論及編碼。

1.3.1 熵函數 (Entropy Function)與無失真壓縮編碼

在一離散消息源產生的符號是從一包含有限個元素的字母源
{a 0 , a1 ,.....a J −1 } 產 生 出 來 , 其 相 對 產 生 的 字 母 機 率 分 布 假 設 為
{ p( a 0 ), p( a1 ),....., p( a J −1 )} 或 簡 寫 成 { p0 , p1 ,......, p J −1} , 其 中
J −1
∑ pj = 1, p j ≥ 0 ,如圖 1.10 所示。由這些字母源的機率分布可以計算
j =1

出此消息源所包含的平均消息含量或稱為熵函數,定義成
J −1
H ( p) = − ∑p
j =1
j log 2 p j ,其中 − log 2 p j 代表符號 a j 所帶的消息量,一

消息源的熵函數代表此消息源的未定量或平均消息含量,而且為任何
無失真壓縮碼 (Information Lossless Codes) 可達到碼率的最低下限﹔
換言之熵函數代表任何熵碼 (Entropy Codes)碼率的下限。
所謂的無失真壓縮編碼,就是消息源任一輸出的符號序列,都可

本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw
數位通訊原理:編碼與消息理論/林銀議
著. — 初版. — 臺北市:五南, 2005 [民94]
   面;  公分.
 含參考書目:面
ISBN 957-11-4028-7(平裝)

1.密碼學

448.7 94011317

5D72

數位通訊原理─編碼與消息理論
Digital Communications-Coding and Information Theory

作 者 ─ 林銀議(122.2)

編 輯 ─ 林銀議

發 行 人 ─ 楊榮川

總 編 輯 ─ 龐君豪

出 版 者 ─ 五南圖書出版股份有限公司

地  址:106台 北 市 大 安 區 和 平 東 路 二 段 3 3 9 號 4 樓

電  話:(02)2705-5066  傳  真:(02)2706-6100

網  址:http://www.wunan.com.tw

電子郵件:wunan@wunan.com.tw

劃撥帳號:0 1 0 6 8 9 5 3

戶  名:五南圖書出版股份有限公司

台中市駐區辦公室/台中市中區中山路6號

電  話:(04)2223-0891  傳  真:(04)2223-3549

高雄市駐區辦公室/高雄市新興區中山一路290號

電  話:(07)2358-702   傳  真:(07)2350-236

法律顧問 元貞聯合法律事務所 張澤平律師

出版日期 2 0 0 8 年 8 月一 版 一 刷

定  價 新 臺 幣 5 5 0 元

※版權所有.欲利用本書內容,必須徵求本公司同意※
本試閱檔為五南所有。如欲購買此書,請至五南網站 www.wunan.com.tw