期待値
期待値とは、ある確率変数の値に確率分布の重みをつけて足し合わせたもの（加重平均）です。
期待値の定義
確率変数 $x$ の期待値は、確率分布 $f(x)$（離散値の場合は $f_i$）により、以下で定義されます。尚、確率分布は正の値 $f(x)\ge0$（ $f_i\ge0$ ）を持ちます。
$$E(x)\equiv\int_{-\infty}^\infty xf(x)dx\equiv\sum_{i=1}^\infty x_if_i$$$$\int_{-\infty}^\infty f(x)dx=1$$$$\sum_{i=1}^\infty f_i=1$$
特に確率変数が $n$ 個で、確率が全て等しい場合（$f_i=1/n$）の期待値は以下になります。
$$E(x)=\frac{1}{n}\sum_{i=1}^nx_i$$
また、任意の関数 $g(x)$ の期待値は以下で定義されます。
$$E\Big(g(x)\Big)\equiv\int_{-\infty}^\infty g(x)f(x)dx\equiv\sum_{i=1}^\infty g(x_i)f_i$$
期待値の性質
期待値には以下の性質があります。ここで、$x$ と $y$ は確率変数、$a$ は定数とします。
$$E(ax)=aE(x)$$
$$E(x+y)=E(x)+E(y)$$
特に、$x$ と $y$ が独立な場合は以下が成り立ちます。
$$E(xy)=E(x)E(y)$$
分散
分散の定義
分散は以下で定義されます。
$$V(x)\equiv E\Big[\big(x-E(x)\big)^2\Big] -①$$
分散の性質
分散には以下の性質があります。ここで、$x$ と $y$ は確率変数、$a$ と $b$ は定数とします。尚、$C(x,y)$ は共分散です。
$$V(x)=E(x^2)-E^2(x) -②$$$$V(ax+b)=a^2V(x) -③$$$$V(x+y)=V(x)+V(y)+2C(x,y) -④$$
②を導く
$$E\Big[\big(x-E(x)\big)^2\Big]=E\Big[x^2-2xE(x)+E^2(x)\Big]$$$$=E(x^2)-2E(x)E(x)+E^2(x)$$$$=E(x^2)-E^2(x)$$
③を導く
$$V(ax+b)=E\Big[\big(ax+b-E(ax+b)\big)^2\Big]$$$$=E\Big[\big(ax-aE(x)\big)^2\Big]$$$$=a^2E\Big[\big(x-E(x)\big)^2\Big]=a^2V(x)$$
④を導く
$$V(x+y)=E\Big[\big(x+y-E(x+y)\big)^2\Big]$$$$=E\Big[\Big(\big(x-E(x)\big)+\big(y-E(y)\big)\Big)^2\Big]$$$$=E\Big[\big(x-E(x)\big)^2\Big]+E\Big[\big(y-E(y)\big)^2\Big]+2E\Big[\big(x-E(x)\big)\big(y-E(y)\big)\Big]$$$$=V(x)+V(y)+2C(x,y)$$
共分散
共分散の定義
確率変数 $x$ と $y$ の共分散は以下で定義されます。
$$C(x,y)\equiv E\Big[\big(x-E(x)\big)\big(y-E(y)\big)\Big] -⑤$$
共分散の性質
共分散には以下の性質があります。
$$C(x,y)=E(xy)-E(x)E(y) -⑥$$$$C(x,x)=V(x)$$
尚、確率変数が独立な場合は以下になります。
$$C(x,y)=0$$
⑥を導く
$$E\Big[\big(x-E(x)\big)\big(y-E(y)\big)\Big]$$$$=E\Big[xy-xE(y)-E(x)y+E(x)E(y)\Big]$$$$=E(xy)-E(x)E(y)$$
相関係数
相関係数の定義は以下になります。
$$\rho_{xy}\equiv\frac{C(x,y)}{\sqrt{V(x)V(y)}}$$
特に、確率変数が独立な場合は、$\rho_{xy}=0$ となります。
