情報伝送速度
情報伝送速度とは、ノイズのある通信路を通して、実際に送信することのできる単位時間当たりの情報量（エントロピー）です。
ノイズのある通信路においては、送信データはノイズの影響を受けるため、送信信号と受信信号は必ずしも一致しません。受信信号を見ることにより、送信信号を推測することはできますが、不確定度が残ってしまいます。
通信路の入力側につながれた情報源の１秒当たりのエントロピーを $H(X)$、送信信号の不確定度を表すエントロピーを $H_Y(X)$ とした場合、情報伝達速度 $R$ は以下で表されます。
$$R=H(X)-H_Y(X) -①$$
この $H_Y(X)$ は情報の「あいまい度」と呼ばれています。
各エントロピーの計算
相互情報量
情報伝送速度は、送信信号と受信信号との相互情報量になっています。相互情報量 $I$ とは、２つの事象（$X,Y$）の相関度の強さをエントロピーで表したものです。
$$R=I(X,Y)$$$$=H(X)-H_Y(X)$$$$=H(Y)-H_X(Y)$$
送信信号のエントロピー
送信信号のエントロピー $H(X)$ は、入力信号を（$x_1,x_2,\cdots,x_n$）とし、情報源から信号が前後に関係なく $p(x_i)$ の確率で１秒間に１つずつ出るとした場合、以下で表されます。
$$H(X)=-\sum_{i=1}^np(x_i)\log_2{p(x_i)} -②$$
受信信号のエントロピー
受信信号のエントロピー $H(Y)$ は、出力信号を（$y_1,y_2,\cdots,y_n$）とし、情報源から信号が前後に関係なく $p(y_i)$ の確率で１秒間に１つずつ出るとした場合、以下で表されます。
$$H(Y)=-\sum_{j=1}^mp(y_i)\log_2{p(y_i)} -③$$
あいまい度
あいまい度 $H_Y(X)$ は以下で計算されます。
$$H_Y(X)=-\sum_{i=1}^n\sum_{j=1}^mp(y_j)p(x_i|y_j)\log_2{p(x_i|y_j)} -④$$
$p(y_j)$ は、$p(x_i)$ と、$x_i$ のときに $y_j$ が得られる確率 $p(y_j|x_i)$ によって以下のように表されます。
$$p(y_j)=\sum_{i=1}^np(x_i)p(y_j|x_i)$$
計算例
入力信号 $x_i$ の取りうる値を $x_0=0$ と $x_1=1$ の２つとして、その発生確率は等しい、つまり $p(x_0)=p(x_1)=0.5$ とすると、送信信号のエントロピーは②より、
$$H(X)=-0.5\times\log_2{0.5}-0.5\times\log_2{0.5}=1$$
一方、出力信号 $y_j$ についても同様に、$y_0=0$ と $y_1=1$ の２つとして、$p(y_0)=p(y_1)=0.5$ とすると、
誤差率10％の場合
90％の確率で正しく送信される通信路の場合、送信信号と受信信号の発生率は以下になるため、
| 送信信号 | $x=0$ | $x=1$ | ||
| 受信信号 | $y=0$ | $y=1$ | $y=0$ | $y=1$ |
| 発生率 | 90％ | 10％ | 10％ | 90％ |
このとき、
$$p(x_0|y_0)=p(x_1|y_1)=0.9$$$$p(x_0|y_1)=p(x_1|y_0)=0.1$$
であるため、あいまい度のエントロピーは④より、
$$H_Y(X)=-0.5\times0.9\times\log_2{0.9}-0.5\times0.1\times\log_2{0.1}$$$$-0.5\times0.9\times\log_2{0.1}-0.5\times0.9\times\log_2{0.9}\cong0.469$$
情報伝送速度は以下になります。
$$R=H(X)-H_Y(X)=1-0.469=0.53$$
これより、10％の誤差率で情報伝送速度が53％まで落ちることが分かります。
誤差率０％の場合
100％の確率で正しく送信される通信路の場合、
$$p(x_0|y_0)=p(x_1|y_1)=1$$$$p(x_0|y_1)=p(x_1|y_0)=0$$
であるため、あいまい度のエントロピーは④より、
$$H_Y(X)=-0.5\times1\times\log_2{1}-0.5\times0\times\log_2{0}$$$$-0.5\times0\times\log_2{0}-0.5\times1\times\log_2{1}=0$$
情報伝送速度は以下になります。
$$R=H(X)-H_Y(X)=1-0=1$$
誤差率が０％であれば、情報伝送速度が100％であり、当たり前な結果が得られています。
誤差率50％の場合
50％の確率で正しく送信される通信路の場合、
$$p(x_0|y_0)=p(x_1|y_1)=0.5$$$$p(x_0|y_1)=p(x_1|y_0)=0.5$$
であるため、あいまい度のエントロピーは④より、
$$H_Y(X)=-0.5\times0.5\times\log_2{0.5}-0.5\times0.5\times\log_2{0.5}$$$$-0.5\times0.5\times\log_2{0.5}-0.5\times0.5\times\log_2{0.5}=1.0$$
情報伝送速度は以下になります。
$$R=H(X)-H_Y(X)=1-1=0$$
これより、50％の誤差率で情報伝送速度が０％になってしまうことが分かります。
