Vietnam National University – University of Engineering and

Technology

Unit 8: Channel Codes

‘

Hanoi, 2017
Khoa Điện tử - Viễn thông Digital Communications and Coding
Trường Đại học Công nghệ, ĐHQGHN Truyền thông số và mã hóa
 Content

1. Introduction

2. Repetition Code

3. Signal space of channel code

4. Capacity of channel (Shannon limit)

5. Revision

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 2 Truyền thông số và mã hóa
1. Introduction
There are two kinds of coding:
 Source coding for compacting the message. It
eliminates the redundant bits from message before
transmission.
For a specific source, there is a below limit of bit number/
codeword. Under this limit we cannot recover the message
without the distortion

 Channel coding for decreasing the error probability. It

adds the redundant bits to message before transmission.
For a specific channel, there is a upper limit of data rate.
Under this limit the transmission can be reliable

 This subject basically focus on the channel coding

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 3 Truyền thông số và mã hóa
2. Example: Repetition code
 Given a BSC
(Binary symmetric
Để phát 1 thì thay vào đó ta phát 111, đến nơi thì quyết theo đa

channel) số, ví dụ phát 1 thì đến nơi có thể nhận được 111, 110, 101, 011.
trường hợp xấu đến nơi nhận là 001, 010, 100, 000 thì sẽ sai

 Assume 𝑝 = 10−3
 Consider a repetition code:
In transmitter: 111 substitutes for 1,000 substitutes for 0
In receiver: Hard decision by majority
𝑃𝑒1 = 𝑃𝑟 001 + 𝑃𝑟 010 +𝑃𝑟 100 +𝑃𝑟 000
= 3𝑝2 1 − 𝑝 + 𝑝3
= 3. 10−2.3 1 − 10−3 + 10−3.3
≈ 3.10−6

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 4 Truyền thông số và mã hóa
Trade off in repetition code
 Using BPSK 𝑥 𝑚 = ± 𝑃, 𝑄 𝑃 𝜎2
 Repeat N times to transmit one bit. Soft decision
𝐱𝐴 = 𝑃 1, … , 1 𝑡 and 𝐱 𝐵 = 𝑃 −1, … , −1 𝑡
𝐲 = 𝐱𝐴 + 𝐰
𝐱𝐴 − 𝐱 𝐵 𝑁𝑃
𝑄 =𝑄
2𝜎 𝜎2
 Error probability decays exponentially with block length 𝑁 or
number of repetition. It makes slowly the rate of information.
𝑁𝑃
 For increasing data rate using M-PAM 𝑄
𝑀−1 𝜎
 It is reliable when 𝑀 less than 𝑁, but data rate is bounded by
log 𝑁 𝑁 then it still goes to zero as the block length
increases.
 M-PAM does not solve the problem speed go to 0

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 5 Truyền thông số và mã hóa
3. Repetition in signal-space
hình tròn bán kinh là căn công suất tạp âm

Figure 1: Repetition coding packs points inefficiently in the high dimensional signal

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 6 Truyền thông số và mã hóa
Packing Spheres
 When expanded to 𝑁 dimension

Figure : The number of noise spheres that can be packed into the y-sphere yields
the maximum number of codewords that can be reliably distinguished

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 7 Truyền thông số và mã hóa
4. Capacity of channel (Shannon limit)
 The maximum number of noise spheres in Power spheres (The
volume of the large sphere divided by the volume of the small
𝑁
𝑁 𝑃+𝜎2
sphere) 𝑁
𝑁𝜎2

 Then the maximum number of bit per symbol/ dimension

𝑁
1 𝑁 𝑃+ 𝜎2 1 𝑃 Số bit cực đại / một lần
log 𝑁 = log 1 + 2 truyền (> 0)

𝑁 𝑁𝜎 2 2 𝜎
có nghĩa là tốc độ không
tiến đến 0 trong khi lỗi =
2W lần truyền / giây 0
 Bandwidth 𝑊 have 2𝑊 dimension SNR

𝑃
𝐶𝑎𝑤𝑔𝑛 = log 1 + 𝑆𝑁𝑅 bits/s/Hz 𝐶𝑎𝑤𝑔𝑛 𝑃, 𝑊 = 𝑊log 1 + 𝑁 bits/s
0𝑊
𝑃 𝑆 𝐶 𝐸 𝑅𝑏
𝐶 = 𝐵log 2 1 + 𝑁 = 𝐵log 2 1 + 𝑁 𝑃 = 𝐸𝑏 𝑅𝑏 = log 2 1 + 𝑁𝑏
0𝑊 𝐵 0 𝐵
bit/s/Hz

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 8 Truyền thông số và mã hóa
 Example What is the theoretical maximum data rate that can be
supported in a 200 𝑘𝐻𝑧 channel for 𝑆𝑁𝑅 = 10 𝑑𝐵, 30 𝑑𝐵? How
does this compare to the GSM standard ?
Trong hệ thống GSM băng tần kênh RADIO rộng 200kHz
 Solution
For 𝑆𝑁𝑅 = 10 𝑑𝐵 = 10, 𝐵 = 200 𝑘𝐻𝑧.
Using Shannon’s channel capacity formula, the maximum possible
data rate kbps
𝑆
𝐶 = 𝐵log 2 1 + = 200000log 2 1 + 10 = 691.886𝑘𝑏𝑝𝑠
𝑁
The GSM data rate is 270.833 kbps, which is only about 40% of the
theoretical limit for 10 𝑑𝐵 SNR conditions.
For 𝑆𝑁𝑅 = 30 𝑑𝐵 = 1000, 𝐵 = 200 𝑘𝐻𝑧 . The maximum possible
data rate Mbps.
𝑆
𝐶 = 𝐵log 2 1 + = 200000log 2 1 + 1000 = 1.99𝑀𝑏𝑝𝑠
𝑁

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 9 Truyền thông số và mã hóa
The channel coding theorem (No proof)
 If a discrete memoryless channel has capacity C and a source
generates information at a rate less than C, then there exists a
coding technique such that the output of the source may be
transmitted over the channel with an arbitrarily low probability of
symbol error
 Capacity in BSC

Figure: Channel capacity of a binary symmetric channel with transition probability 𝑝.

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 10 Truyền thông số và mã hóa
5. Revision
 What are the source code and the channel code
 Why repetition code can decrease error probability
 What are disadvantages of repetition code
 What is the capacity (Shannon limit) of specific AWGN
C = B*log(1 + S/N) bit / s

channel. 1 lần dùng kênh,

 How does mean the reliable transmission

 Note: The channel coding theorem asserts the
existence of good codes but does not tell us how to
find them

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 11 Truyền thông số và mã hóa