情報量とエントロピー - 理数の散策路

情報量

情報量とは、その情報を得たことにより、知識の不確実さがどのくらい減るかで測ることができます。

同じ確率で起こる $n$ 個の事象 $A_1,A_2,\cdots,A_n$ を考えます。情報量は、この事象の中から、どの事象が起ったかを知るための「問合せの回数」として定義されます。

例えば、$n=2$ の場合の問合せの回数は１回で、$n=8$ の場合は同様に３回です。これから、$n$ 個の場合の情報量 $I$ は、以下で表されることが類推できます。

$$I=\log_2{n}　　－①$$

これは、ビット数 $I$ で表現できるパターンの数 $n$ と考えることもでき、実際に情報量には「ビット」が使われます。また、１つの事象が確率 $1/n$ で起こると考えると、情報量は以下で表すことができます。

$$I=-\log_2{\frac{1}{n}}$$

異なる確率 $p_1,p_2,\cdots,p_m$ で起こる $m$ 個の事象 $G_1,G_2,\cdots,G_m$ を考えます。このとき、ある事象 $p_i$ が起こった事を知らせる情報量は以下で表されます。

$$I_i=-\log_2{p_i}　　-②$$

尚、確率の総和は１になります。

$$\sum_{i}p_i=1　　-③$$

同じ確率で起こる $n$ 個の事象 $A_i$ を、$k$ 個づつの $m$ 個のグループに分けます。

グループ	$G_1$	$G_2$	・・・	$G_m$
事象	$A_1,\cdots,A_k$	$A_{k+1},\cdots,A_{2k}$	・・・	$A_{mk-m+1},\cdots,A_{mk}$

このとき、①は以下のようになります。

$$\log_2{n}=\log_2{mk}=\log_2{m}+\log_2{k}　　－④$$

これにより、ある事象を知るための情報量は、グループを特定する情報量と、グループの中の事象を特定するための情報量の和で表されることが分かります（情報量の加法性）。

あるグループを特定するための情報量は、④より、

$$\log_2{m}=\log_2{n}-\log_2{k}=-\log_2{\frac{k}{n}}$$

従って、あるグループが起る確率を $p_i$（$=k/n$）とすると、そのグループを特定するための情報量 $I_i$ は②で求めらることができます。

情報のエントロピー（以下、エントロピー）とは、得られる情報量の期待値です。

ある事象 $A_i$ が発生したがどうかを知るための情報量は $-\log{p_i}$ で表されますが、これは確率 $p_i$ で得られる情報量です。得られる情報量の期待値（エントロピー：$H$）は以下で定義されます。

$$H=\sum_{i=1}^np_iI_i=-\sum_{i=1}^np_i\log_2{p_i}$$

情報のエントロピーは以下の特徴を持ちます。

特徴１と２は、エントロピーの定義より明らかです。

条件③の下で、エントロピーが停留点を持つ条件を、ラグランジュの乗数法を用いて求めます。ラグランジュ関数を以下で定義し、

$$L=-\sum_{i=1}^np_i\log_2{p_i}-\lambda\Big(\sum_{i}p_i-1\Big)$$

微分すると、

$$\frac{\partial L}{\partial p_i}=-\log_2{p_i}-\frac{1}{\ln{2}}-\lambda=0$$$$\log_2{p_i}+\log_2{e}=-\lambda$$$$p_i=\frac{2^{-\lambda}}{e}$$

各確率は定数となることが分かります。条件③より、

$$\sum_{i}p_i=\frac{n2^{-\lambda}}{e}=1$$

これらにより、各確率は以下になることが分かります。

$$p_i=\frac{1}{n}$$

６つの目をもつサイコロを例にとります。ケース１は全ての目が等確率の場合、ケース２は奇数が出ることが分かった場合、ケース４は特定の目（例えば”１”）が出ることが確定した場合とします。

ケース	目の出る確率	エントロピー
１	$(1/6,1/6,1/6,1/6,1/6,1/6)$	$$H_1=6\times\Big(-\frac{1}{6}\log_2{\frac{1}{6}}\Big)\cong2.58$$
２	$(1/3,0,1/3,0,1/3,0)$	$$H_2=3\times\Big(-\frac{1}{3}\log_2{\frac{1}{3}}\Big)\cong1.58$$
３	$(1/2,0,1/2,0,0,0)$	$$H_3=2\times\Big(-\frac{1}{2}\log_2{\frac{1}{2}}\Big)=1.00$$
４	$(1,0,0,0,0,0)$	$$H_4=1\times\Big(-\frac{1}{1}\log_2{\frac{1}{1}}\Big)=0$$

得られる情報量は、エントロピーの減少分に等しくなります。