Chap7: Introduction To Information Theory
1. What is the fundamental principle underlying source
encryption?
a. Minimize errors
b. Transmits symbols that commonly appear in shortcodes
c. Add redundant bits to information
d. Transform data to enhance security
2. A memoryless source has symbols S\ = {-3, -1, 0, 1, 3} with
corresponding probabilities {0. 3, 0. 2, 0. 1, 0. 2, 0. 2}. The
entropy of the source is
a. 1. 356
b. 1
c. 0. 678
d. 2. 246
3. The output of the source encoder is an analog signal.
a. False
b. True
4. The Shannon’s theorem sets a limit on the
a. Maximum number of coding levels in a channel
b. Maximum number of quantizing levels in a channel
c. The highest frequency that may be sent over the channel
d. Maximum capacity of a channel with a given noise level
5. The difference between the entropy and the average
length of the Huffman code is called
a. Power
b. Redundancy
c. None of these
d. Rate
Nguyên tắc cơ bản của mã hóa nguồn là gì?
a. Giảm thiểu sai sót
b. Truyền các ký hiệu thường xuất hiện trong
mã ngắn
c. Thêm bit dư thừa vào thông tin
d. Chuyển đổi dữ liệu để tăng cường bảo mật
Có: H(S) = -Σ[p(x) * log2(p(x))]
H(S) = -(0. 3 * log2(0. 3) + 0. 2 * log2(0. 2) +
0. 1 * log2(0. 1) + 0. 2 * log2(0. 2) +
0. 2 * log2(0. 2)) = 2. 246
Mã hóa nguồn ra tín hiệu số (digital)
4. Định lý Shannon đặt ra giới hạn cho
a. Số mức mã hóa tối đa trong một kênh
b. Số mức lượng tử hóa tối đa trong một kênh
c. Tần số cao nhất có thể được gửi qua kênh
d. Công suất tối đa của kênh với mức nhiễu nhất
định
Entropy – dư thừa bit
6. Let xj be an event with p(xj) = 1/25 is the probability of
the event that xj is selected for transmission. Find I(xj).
a. 2log2(5)
b. -2log2(5)
c. -log2(5)
d. log2(1/25)
7. Entropy is the measure of ____________ Thông tin trung bình trên mỗi tin nhắn của một
a. The uncertainly per input symbols of the source nguồn
b. The average information per message of a source
c. Amount of information that can be transmitted
d. Number of error bits from the total number of bits
8. Huffman coding technique is adopted for constructing Kỹ thuật mã hóa Huffman được áp dụng để xây
the source code with maximum redundancy. dựng mã nguồn với độ dư thừa tối đa.
a. True = tối thiểu không phải tối đa
b. False
9. Choose the incorrect answer Chọn câu trả lời sai
a. The self-information is calculated by the formula a. Thông tin bản thân được tính theo công thức
log2(1/p(x)). log2(1/p(x)).
b. MPEG-4 is a source coding technique. b. MPEG-4 là một kỹ thuật mã hóa nguồn.
c. A signal x has a probability of occurrence of p(x), if c. Một tín hiệu x có xác suất xuất hiện là p(x),
p(x) is larger, then the amount of information received is nếu p(x) lớn hơn thì lượng thông tin nhận được
smaller. sẽ nhỏ hơn.
d. The larger the probability of occurrence, the greater d. Xác suất xảy ra càng lớn thì lượng thông tin
the amount of information obtained. thu được càng lớn.
10. The maximum rate at which nearly error-free data can be Về mặt lý thuyết, tốc độ tối đa mà dữ liệu gần
theoretically transmitted over a communication channel is như không có lỗi có thể được truyền qua kênh
defined as liên lạc được xác định là: Dung lượng kênh
a. Frequency bandwidth
b. Channel capacity
c. SNR
d. Modulation