Information and Coding Theory, 2019 by Toyoaki Nishida

相互情報量と通信路モデル

Copyright © 2019 Toyoaki Nishida All Rights Reserved.

 例題 － 野球中継
x 𝑃(𝑥)
情報源𝑆 直 𝑝
変 1−𝑝
メッセージ

通信路

メッセージ
変化球
直球

通信路の価値をどう定めるか？ ＝通信路への課金，支払いをどうするか？
メッセージの価値をどれだけ保全するか
メッセージの価値をどう定めるか？
情報源Sの不確かさをどれだけ減らしたか？
Sのエントロピー𝐻1 𝑆 = − 𝑝 log2 𝑝 + 1 − 𝑝 log 2 1 − 𝑝 …平均符号長の下限

メッセージの平均的価値の大きさ＝メッセージの平均情報量＝メッセージが減らした情報源記号の不確かさ
 情報量

出現確率𝑝の事象𝑒が起きたことを知らせるメッセージ𝑚のもたら
す「サプライズ」（＝𝑚の情報量）

1
log 2 = − log 2 𝑝 ビット
𝑝

1
（例）変化球の確率が であるとき，実際にそうであるということを
4
伝えるメッセージの情報量：
1
log 2 1 = − log 2 4 = 2 ビット
4
 情報量

２つの事象 𝑒1 , 𝑒2 のいずれかが起きるとする．
𝑒1 の生起確率を𝑝1 , 𝑒2 の生起確率を𝑝2 とする．

◼ 𝑒1 が起きたことを知らせるメッセージの情報量：
1
log 2 = − log 2 𝑝1 ビット
𝑝1
◼ 𝑒2 が起きたことを知らせるメッセージの情報量：
1
log 2 = − log 2 𝑝2 ビット
𝑝2
◼ メッセージの平均的な情報量：
1 1
𝑝1 log 2 + 𝑝2 log 2 = − 𝑝1 log 2 𝑝1 + 𝑝2 log 2 𝑝2 ビット
𝑝1 𝑝2
 情報量

𝑛個の事象 𝑒1 , ⋯ , 𝑒𝑛 が与えられたとき， 𝑒𝑖 の生起確率を𝑝𝑖 とすると，𝑒𝑖 の起き

たことを知らせるメッセージの平均的な情報量：
𝑛
1 1
𝑝1 log 2 + ⋯ + 𝑝𝑛 log 2 = − ෍ 𝑝𝑖 log 2 𝑝𝑖 ビット
𝑝1 𝑝𝑛
𝑖=1
◼ 例１：{直: 1/2, 変: 1/2}
… 直でも，変でも1ビットの情報が得られる．平均情報量は1ビット．

◼ 例2：{直：1/4, 変: 3/4} … 1/4の確率で log 2 4 = 2ビットの情報が得ら

4
れるが，残り3/4の確率で得られる情報量はlog 2 3 ≈ 0.415ビットだけであ
る．平均すれば，
1 1 3 1 1 3
− log 2 + log 2 ≈ × 2 + × 0.415 ≈ 0.811 ビット
4 1 4 3 4 4
4 4
 情報量
◼ 情報量：メッセージが不確かさを減らす度合いを定量化

◼ エントロピー関数：不確かさの度合いの表現に用いる．
1 1
ℋ 𝑥 ≡ 𝑥 log 2 + (1 − 𝑥) log 2
𝑥 1−𝑥

ℋ 𝑥

𝑥
知りたいことのヒントにしかならないメッセージ

直 変

前 0.4 0.2

横 0.1 0.3

{前，横} {直，変}？

変化球
直球
 検査
病気 健康

検査の効用評価 陽性
2 10
第１種過誤（α）
1000 1000
8 920
陰性
1000 1000
10
𝑃 病気 = = 1%
1000 第2種過誤（β）
2
𝑃(陽性, 病気) 1000 1
𝑃 病気|陽性 = = = ≈ 16.7%
𝑃(陽性) 2 10 6
+
1000 1000
10
𝑃(陽性, 健康) 1000 1
偽陽性率 = 𝑃 陽性|健康 = = = ≈ 1.1%
𝑃(健康) 10 920 93
+
1000 1000
8
𝑃(陰性, 病気) 1000
偽陰性率 = 𝑃 陰性|病気 = = = 80%
𝑃(病気) 2 8
+
1000 1000
2
1000 𝑃(病気|陽性)
2
1−偽陰性率 𝑃 陽性|病気 2
+
8
𝑃(健康|陽性) 陽性の事後オッズ
（陽性）尤度比 = = = 1000101000 = 101 = = =18.6
偽陽性率 𝑃 陽性|健康 1000 93
𝑃( 病気 ) 陽性の事前オッズ
10 920
+
1000 1000 𝑃(健康)
 相互情報量

◼ 何も知らないときは，「直」は1ビットの情報量，「変」も1ビットの情報量をもつから，直／変
メッセージは平均1ビットの情報量をもつことになる．
◼ 前／横メッセージを得たとしよう．
 「前」だったとすれば，
3
- 「直」は，log 2 ≈ 0.585ビットの情報をもたらす．
2
- 「変」は， log 2 3 ≈ 1.585ビットの情報をもたらす．
2 3 1 2
- 平均すると， log 2 + log 2 3 = log 2 3 − ≈ 0.918 ビットの情報がもたらされる．
3 2 3 3
 「横」だったとすれば，
1 3 1 3
- 直／変メッセージの平均情報量は4 log2 4 + 4 log 2 3 = 2 − 4 log 2 3 ≈ 0.811
4

◼ 前／横メッセージを得たときの，直／変メッセージの平均情報量は
3 2 2 3 2 3
 × log2 3 − + × 2 − log 2 3 = + log 2 3 ≈ 0.8755ビット
5 3 5 4 5 10

◼ 従って，前／横メッセージの平均的な貢献（＝平均情報量）は，
2 3 3 3
1− + log 2 3 = 5 − 10 log 2 3 ≈0.1245 ビット
5 10
 相互情報量
確率変数𝑋のエントロピー（平均的な不確かさ）を𝐻(𝑋)とすると，
1
𝐻(直変)=ℋ =1
2
1
𝐻(直変|前)=ℋ ≈ 0.91830
3
1
𝐻(直変|横)=ℋ ≈ 0.81128
4
3 1 2 1 2 3
𝐻(直変|前横)= 5 ℋ + 5ℋ = + log 2 3 ≈ 0.87549
3 4 5 10
3 3
𝐻(直変) − 𝐻(直変|前横)= 5 − log 2 3 ≈ 0.1245
10
一方，
3
𝐻(前横)=ℋ ≈ 0.97095
5
4
𝐻(前横|直)=ℋ ≈ 0.72193
5
2
𝐻(前横|変)=ℋ 5 ≈ 0.97095
1 4 1 2
𝐻(前横|直変)= 2 ℋ 5 + 2 ℋ 5
≈ 0.84644
3 3
𝐻(前横) − 𝐻(前横|直変)= − log 2 3 ≈ 0.1245
5 10
このように，
3 3
𝐻(直変) − 𝐻(直変|前横) = 𝐻(前横) − 𝐻(前横|直変)= 5 − 10 log 2 3 ≈ 0.1245
 相互情報量の概念
𝐻(直変)=1
𝐻(前横) ≈ 0.97095
直／変の不確かさ
前／横の不確かさ

𝐻(前横|直変) ≈ 0.84644
𝐻(直変|前横) ≈ 0.87549
直／変が分かったときの前／横の不確かさ
前／横がわかったときの直／変の不確かさ

𝐼 直変;前横 = 𝐻(直変) − 𝐻(直変|前横) = 𝐻(前横) − 𝐻(前横|直変) ≈ 0.1245

相互情報量 前／横がわかったときに減少する直／変の不確かさ
直／変が分かったときに減少する前／横の不確かさ
 相互情報量の概念

不確かなメッセージでも情報を伝達することができる．⇒ 伝達
される情報量の定量化

（例）上でみたように，次の球種が直球か変化球か知りたいと
き，投手が前を見ていたか，横を見ていたかを教えてもらうこと
ができれば，何らかのヒントが得られる（ただし，確率モデルが
わかっていると仮定できる時）．

𝑌 ◼ 前／横によって減少する不確かさ
𝑃(𝑥, 𝑦) 𝑃(𝑥)
直 変 の平均：
前 0.4 0.2 0.5 𝐻 𝑌 − 𝐻 𝑌 𝑋 ≈ 0.1245
𝑋
横 0.1 0.3 0.5
◼ 𝑋と𝑌の相互情報量：
𝑃(𝑦) 0.6 0.4
𝐼 X; Y = 𝐻 𝑌 − 𝐻 𝑌 𝑋
 相互情報量の性質

◼ 𝑋と𝑌の結合エントロピー：

𝐻 𝑥, 𝑦 = − ෍ ෍ 𝑃(𝑥, 𝑦) log 2 𝑃(𝑥, 𝑦)

𝑥 𝑦

◼ 次の関係が成り立つ．

𝐼 𝑋; 𝑌 = 𝐻 𝑋 − 𝐻 𝑋 𝑌
=𝐻 𝑌 −𝐻 𝑌 𝑋
= 𝐻 𝑋 + 𝐻 𝑌 − 𝐻 𝑋, 𝑌

0 ≤ 𝐼 𝑋; 𝑌 ≤ min 𝐻 𝑋 , 𝐻(𝑌)
 相互情報量の性質

𝐻(𝑋, 𝑌)
𝐻 𝑋𝑌
𝐻 𝑌𝑋

𝐻(𝑌)
𝐻(𝑋) 𝐼(𝑋; 𝑌)
 相互情報量の性質

「前／横」から得られる「直／変」に関する情報量

「直」 「変」

「前」 0.4 0.2 0.6

0.1 0.3 0.4

「横」

0.5 0.5 1
 相互情報量の性質

「前／横」から得られる「直／変」に関する情報量 … もう一つのケース

「直」 「変」

「前」 0.2 0.2 0.4

「横」 0.3 0.3 0.6

0.5 0.5 1
 通信路の概念

直 変
前 0.4 0.2
横 0.1 0.3

{前，横} {直，変}？

変化球
直球
𝑃(前) 0 𝑃 直前 𝑃 変前 𝑃(直, 前) 𝑃(変, 前)
∙ =
0 𝑃(横) 𝑃 直 横 𝑃 変横 𝑃(直, 横) 𝑃(変, 横)

情報源 通信路
結合確率を情報源固有部分と通信路固有部分に分解
 通信路モデル

通信路を条件付確率で表し，統計的性質を調べる．

入力アルファベットの列 出力アルファベットの列

𝑥0 , ⋯ , 𝑥𝑛−1 𝑦0 , ⋯ , 𝑦𝑛−1
通信路

𝑃𝑌0 ,⋯,𝑌𝑛−1 |𝑋0 ,⋯,𝑋𝑛−1 (𝑦0 , ⋯ , 𝑦𝑛−1 |𝑥0 , ⋯ , 𝑥𝑛−1 )

𝑥0 , ⋯ , 𝑥𝑛−1 が与えられたとき𝑦0 , ⋯ , 𝑦𝑛−1 が出力される確率

 通信路モデル

◼ 記憶のない通信路：各時点の出力の現れ方がその時点の入力
には関係するが，それ以外の時点の出力にも入力にも独立で
ある．

◼ 記憶のない定常通信路：記憶のない通信路のなかで，時間をず
らしても統計的性質が変わらないもの．

◼ 記憶のない定常通信路について，
𝑛−1

𝑃𝑌0 ,⋯,𝑌𝑛−1 |𝑋0 ,⋯,𝑋𝑛−1 𝑦0 , ⋯ , 𝑦𝑛−1 |𝑥0 , ⋯ , 𝑥𝑛−1 = ෑ 𝑃𝑌𝑖 |𝑋𝑖 (𝑦𝑖 |𝑥𝑖 )
𝑖=0
 通信路モデル

通信路の表示
𝑝11 = 𝑃(𝑏1 |𝑎1 )
𝑎1 𝑏1

𝑎2 𝑏2
𝑝22 = 𝑃(𝑏2 |𝑎2 )

𝑎𝑟

𝑏𝑠
 通信路行列
◼ 通信路行列：記憶のない定常通信路の表現
𝑝11 ⋯ 𝑝1𝑠
𝑇= ⋮ ⋱ ⋮
𝑝𝑟1 ⋯ 𝑝𝑟𝑠

◼ 入力アルファベットの生起確率： 𝑝 = (𝑝1 , 𝑝2 , ⋯ , 𝑝𝑟 )
出力アルファベットの生起確率： 𝑞 = 𝑞1 , 𝑞2 , ⋯ , 𝑞𝑠
のとき，

𝑞 = 𝑞1 , 𝑞2 , ⋯ , 𝑞𝑠
= 𝑝𝑇
𝑝11 ⋯ 𝑝1𝑠
= (𝑝1 , 𝑝2 , ⋯ , 𝑝𝑟 ) ⋮ ⋱ ⋮
𝑝𝑟1 ⋯ 𝑝𝑟𝑠
= (𝑝1 𝑝11 + 𝑝2 𝑝21 + ⋯ + 𝑝𝑟 𝑝𝑟1 ,
𝑝1 𝑝12 + 𝑝2 𝑝22 + ⋯ + 𝑝𝑟 𝑝𝑟2 ,
⋯,
𝑝1 𝑝1𝑠 + 𝑝2 𝑝2𝑠 + ⋯ + 𝑝𝑟 𝑝𝑟𝑠 )
 基本的な通信路

2元対称通信路(Binary Symmetric Channel, BSC)

0 0
1−𝑝 1−𝑝 𝑝
𝑇=
𝑝 𝑝 1−𝑝
𝑋 𝑌
𝑝：誤り率
𝑝
1 1
1−𝑝
 基本的な通信路

2元対称消失通信路

1 − 𝑝X − 𝑝 0
0
𝑝X
𝑝

𝑋 X 𝑌
𝑝
𝑝X
1 − 𝑝X − 𝑝 𝑝X 𝑝
1 1 𝑇=
𝑝 𝑝X 1 − 𝑝X − 𝑝
1 − 𝑝X − 𝑝

0, 1がXに化ける（＝消失する）ことがある．
 通信路容量
𝑋 𝑌
通信路
𝐴 = 𝑎1 , ⋯ , 𝑎𝑟 𝐵 = 𝑏1 , ⋯ , 𝑏𝑠

𝑇 = 𝑝𝑖𝑗 通信路行列（𝑟行，𝑠列）

𝑟行

𝑝𝑖𝑗 = P(𝑏𝑗 |𝑎𝑖 )

𝑠列

◼ （通信路𝑇による）𝑋と𝑌の相互情報量：
𝑝𝑖𝑗
𝐼(𝑋; 𝑌) = σ𝑟𝑖=1 𝑝𝑖 σ𝑠𝑗=1 𝑝𝑖𝑗 log 2 = 𝐻 𝑌 − 𝐻(𝑌|𝑋)
𝑞𝑗

◼ 通信路𝑇の通信路容量：
𝐶 = max 𝐼(𝑋; 𝑌) ここで，𝒑 = 𝑝1 , ⋯ , 𝑝𝑟 は入力の確率分布
𝒑
 まとめ

◼ 情報量：メッセージが不確かさ（エントロピー）を減らす度合
いを定量化
◼ 不確かなメッセージからでも情報は得られる→相互情報量と
して定量化
◼ 相互情報量の性質
◼ 通信路の働きは相互情報量で説明される．
◼ 通信路自体は条件付確率を使ってモデル化する→通信路
行列
◼ 基本的な通信路として2元対称通信路と2元対称消失通信路
がある．
◼ 通信路の（理論的）性能は通信路容量で表す．