期待値
期待値とは、ある確率変数の値に確率分布の重みをつけて足し合わせたもの（加重平均）です。
期待値の定義
確率変数 $x$ の期待値は、確率分布 $f(x)$（離散値の場合は $f_i$）により、以下で定義されます。
$$E(x)\equiv\int_{-\infty}^\infty xf(x)dx\equiv\sum_{i=1}^\infty x_if_i$$$$\int_{-\infty}^\infty f(x)dx=1 , f(x)\ge0$$$$\sum_{i=1}^\infty f_i=1 , f_i\ge0$$
特に確率変数が $n$ 個で、確率が全て等しい場合（$f_i=1/n$）期待値は以下になります。
$$E(x)=\frac{1}{n}\sum_{i=1}^nx_i$$
また、任意の関数 $g(x)$ の期待値は以下で定義されます。
$$E(g(x))\equiv\int_{-\infty}^\infty g(x)f(x)dx\equiv\sum_{i=1}^\infty g(x_i)f_i$$
期待値の性質
期待値には以下の性質があります。ここで、$x$ と $y$ は確率変数、$a$ は定数とします。
$$E(ax)=aE(x)$$
$$E(x+y)=E(x)+E(y)$$
特に、$x$ と $y$ が独立な場合は以下が成り立ちます。
$$E(xy)=E(x)E(y)$$
分散
分散の定義
分散は以下で定義されます。
$$V(x)\equiv E[(x-E(x))^2] -①$$
分散の性質
分散には以下の性質があります。ここで、$x$ と $y$ は確率変数、$a$ と $b$ は定数とします。尚、$C(x,y)$ は共分散です。
$$V(x)=E(x^2)-E^2(x) -②$$$$V(ax+b)=a^2V(x) -③$$$$V(x+y)=V(x)+V(y)+2C(x,y) -④$$
①より②を導く
$$E[(x-E(x))^2]=E[x^2-2xE(x)+E^2(x)]$$$$=E(x^2)-2E(x)E(x)+E^2(x)=E(x^2)-E^2(x)$$
③を導く
$$V(ax+b)=E[(ax+b-E(ax+b))^2]$$$$=E[(ax-aE(x))^2]$$$$=a^2E[(x-E(x))^2]=a^2V(x)$$
④を導く
$$V(x+y)=E[(x+y-E(x+y))^2]$$$$=E[((x-E(x))+(y-E(y)))^2]$$$$=E[(x-E(x))^2]+E[(y-E(y))^2]+2E[(x-E(x))(y-E(y))]$$$$=V(x)+V(y)+2C(x,y)$$
共分散
共分散の定義
確率変数 $x$ と $y$ の共分散は以下で定義されます。
$$C(x,y)\equiv E[(x-E(x))(y-E(y))] -⑤$$
共分散の性質
共分散には以下の性質があります。
$$C(x,y)=E(xy)-E(x)E(y) -⑥$$
$$C(x,x)=V(x)$$
尚、確率変数が独立な場合は以下になります。
$$C(x,y)=0$$
⑤より⑥を導く
$$E[(x-E(x))(y-E(y))]$$$$=E[xy-xE(y)-E(x)y+E(x)E(y)]$$$$=E(xy)-E(x)E(y)$$
相関係数
相関係数の定義は以下になります。
$$\rho_{xy}\equiv\frac{C(x,y)}{\sqrt{V(x)V(y)}}$$
特に、確率変数が独立な場合は、$\rho_{xy}=0$ となります。
