情報伝送速度とは - 理数の散策路

情報伝送速度
各エントロピーの計算
計算例

情報伝送速度

情報伝送速度とは、ノイズのある通信路を通して、実際に送信することのできる単位時間当たりの情報量（エントロピー）です。

ノイズのある通信路においては、送信データはノイズの影響を受けるため、送信信号と受信信号は必ずしも一致しません。受信信号を見ることにより、送信信号を推測することはできますが、不確定度が残ってしまいます。

通信路の入力側につながれた情報源の１秒当たりのエントロピーを $H (X)$ 、送信信号の不確定度を表すエントロピーを $H_{Y} (X)$ とした場合、情報伝達速度 $R$ は以下で表されます。

$R = H (X) - H_{Y} (X) - ①$

この $H_{Y} (X)$ は情報の「あいまい度」と呼ばれています。

各エントロピーの計算

相互情報量

情報伝送速度は、送信信号と受信信号との相互情報量になっています。相互情報量 $I$ とは、２つの事象（ $X, Y$ ）の相関度の強さをエントロピーで表したものです。

$R = I (X, Y)$ $= H (X) - H_{Y} (X)$ $= H (Y) - H_{X} (Y)$

送信信号のエントロピー

送信信号のエントロピー $H (X)$ は、入力信号を（ $x_{1}, x_{2}, \dots, x_{n}$ ）とし、情報源から信号が前後に関係なく $p (x_{i})$ の確率で１秒間に１つずつ出るとした場合、以下で表されます。

$H (X) = - \sum_{i = 1}^{n} p (x_{i}) \log_{2} p (x_{i}) - ②$

受信信号のエントロピー

受信信号のエントロピー $H (Y)$ は、出力信号を（ $y_{1}, y_{2}, \dots, y_{n}$ ）とし、情報源から信号が前後に関係なく $p (y_{i})$ の確率で１秒間に１つずつ出るとした場合、以下で表されます。

$H (Y) = - \sum_{j = 1}^{m} p (y_{i}) \log_{2} p (y_{i}) - ③$

あいまい度

あいまい度 $H_{Y} (X)$ は以下で計算されます。

$H_{Y} (X) = - \sum_{i = 1}^{n} \sum_{j = 1}^{m} p (y_{j}) p (x_{i} | y_{j}) \log_{2} p (x_{i} | y_{j}) - ④$

$p (y_{j})$ は、 $p (x_{i})$ と、 $x_{i}$ のときに $y_{j}$ が得られる確率 $p (y_{j} | x_{i})$ によって以下のように表されます。

$p (y_{j}) = \sum_{i = 1}^{n} p (x_{i}) p (y_{j} | x_{i})$

計算例

入力信号 $x_{i}$ の取りうる値を $x_{0} = 0$ と $x_{1} = 1$ の２つとして、その発生確率は等しい、つまり $p (x_{0}) = p (x_{1}) = 0.5$ とすると、送信信号のエントロピーは②より、

$H (X) = - 0.5 \times \log_{2} 0.5 - 0.5 \times \log_{2} 0.5 = 1$

一方、出力信号 $y_{j}$ についても同様に、 $y_{0} = 0$ と $y_{1} = 1$ の２つとして、 $p (y_{0}) = p (y_{1}) = 0.5$ とすると、

誤差率10％の場合

90％の確率で正しく送信される通信路の場合、送信信号と受信信号の発生率は以下になるため、

送信信号	$x = 0$		$x = 1$
受信信号	$y = 0$	$y = 1$	$y = 0$	$y = 1$
発生率	90％	10％	10％	90％

このとき、

$p (x_{0} | y_{0}) = p (x_{1} | y_{1}) = 0.9$ $p (x_{0} | y_{1}) = p (x_{1} | y_{0}) = 0.1$

であるため、あいまい度のエントロピーは④より、

$H_{Y} (X) = - 0.5 \times 0.9 \times \log_{2} 0.9 - 0.5 \times 0.1 \times \log_{2} 0.1$ $- 0.5 \times 0.9 \times \log_{2} 0.1 - 0.5 \times 0.9 \times \log_{2} 0.9 ≅ 0.469$

情報伝送速度は以下になります。

$R = H (X) - H_{Y} (X) = 1 - 0.469 = 0.53$

これより、10％の誤差率で情報伝送速度が53％まで落ちることが分かります。

誤差率０％の場合

100％の確率で正しく送信される通信路の場合、

$p (x_{0} | y_{0}) = p (x_{1} | y_{1}) = 1$ $p (x_{0} | y_{1}) = p (x_{1} | y_{0}) = 0$

であるため、あいまい度のエントロピーは④より、

$H_{Y} (X) = - 0.5 \times 1 \times \log_{2} 1 - 0.5 \times 0 \times \log_{2} 0$ $- 0.5 \times 0 \times \log_{2} 0 - 0.5 \times 1 \times \log_{2} 1 = 0$

情報伝送速度は以下になります。

$R = H (X) - H_{Y} (X) = 1 - 0 = 1$

誤差率が０％であれば、情報伝送速度が100％であり、当たり前な結果が得られています。

誤差率50％の場合

50％の確率で正しく送信される通信路の場合、

$p (x_{0} | y_{0}) = p (x_{1} | y_{1}) = 0.5$ $p (x_{0} | y_{1}) = p (x_{1} | y_{0}) = 0.5$

であるため、あいまい度のエントロピーは④より、

$H_{Y} (X) = - 0.5 \times 0.5 \times \log_{2} 0.5 - 0.5 \times 0.5 \times \log_{2} 0.5$ $- 0.5 \times 0.5 \times \log_{2} 0.5 - 0.5 \times 0.5 \times \log_{2} 0.5 = 1.0$