仕事やプライベートで調べたことのメモ書きなど(@札幌)

仕事やプライベートで調べたこと、興味ある事のメモ書きです。2016年4月から札幌で働いてます。※このブログは個人によるもので、団体を代表するものではありません。

わかったつもり?、分散の(n-1)問題!(2017/6/6@社内PRML勉強会)

社内PRML勉強会。今日の証明はとてもよくわかったつもりだったので記念に書いておこう。いわゆる不偏分散、標本分散の問題で、なんで(n-1)で割るのか?という件です。ExcelのVAR関数、VARP関数のどちらを使いましょう的な話題でもありますね。

お題

お題はPRML本(前編)の(1.58)式の証明。演習問題で言うと、(1.12)になります。

{
\mathbb{E} \left[ \sigma^2_{ML} \right] = \left( \frac{N-1}{N} \right) \sigma^2
}

{\begin{eqnarray}
\sigma^2_{ML} &=& \frac{1}{N} \sum_{n=1}^N \left(x_n - \mu_{ML} \right)^2 \\
\mathbb{E} \left[ \sigma^2_{ML} \right] &=& \frac{1}{N} \sum_{n=1}^N \mathbb{E} \left[x^2_n - 2\mu_{ML} x_n + \mu^2_{ML} \right] \\
 &=& \frac{1}{N} \sum_{n=1}^N \left(
     \mathbb{E} \left[x^2_n \right]
     - 2\mathbb{E}\left[\frac{1}{N}\sum_{m=1}^{N}x_mx_n \right]
     + \mathbb{E}\left[\frac{1}{N^2}\sum_{m=1}^{N}\sum_{l=1}^{N}x_mx_l \right]
 \right)
\end{eqnarray}}
ここで、以下の(1.40)式を使う。※たいていのWebの回答を見ると、(1.50)式よりと説明されているが、(1.50)式は正規分布についての説明のように思えるので、ここでは(1.40)式に言及。実質変わりはないのですが。ちなみにここで、この{x_n}とはなんぞや、というのが議論になり、パッと見はサンプルの1つなのですが、その平均とかとるので、わかりづらい。。

{\begin{eqnarray}
var\left[x\right] &=& \mathbb{E}\left[x^2\right]-\mathbb{E}\left[x\right]^2 \\
\mathbb{E}\left[x^2\right] &=& \mu^2 + \sigma^2
\end{eqnarray}}
すると、
{\begin{eqnarray}
\mathbb{E} \left[ \sigma^2_{ML} \right] &=& \frac{1}{N} \sum_{n=1}^N \left(\mu^2+\sigma^2\right)
     - \frac{2}{N^2}\sum_{n=1}^{N}\sum_{m=1}^{N}\mathbb{E}\left[x_nx_m \right]
     + \frac{1}{N^3}\sum_{n=1}^{N}\sum_{m=1}^{N}\sum_{l=1}^{N}\mathbb{E}\left[x_mx_l \right] \\
 &=& \frac{1}{N} \sum_{n=1}^N \left(\mu^2+\sigma^2\right)
     - \frac{1}{N^2}\sum_{n=1}^{N}\sum_{m=1}^{N}\mathbb{E}\left[x_nx_m \right]
\end{eqnarray}}
そして、以下の(1.130)式を使います。1.130の導出は略。
{
\mathbb{E} \left[ x_nx_m \right] = \mu^2 + I_{nm}\sigma^2
}
すると、
{\begin{eqnarray}
\mathbb{E} \left[ \sigma^2_{ML} \right] &=& \left(\mu^2+\sigma^2\right)
     - \frac{1}{N^2}\sum_{n=1}^{N}\sum_{m=1}^{N}\left(\mu^2+I_{nm}\sigma^2 \right) \\
 &=& \sigma^2
     - \frac{\sigma^2}{N^2}\sum_{n=1}^{N}\sum_{m=1}^{N}\left(I_{nm} \right)
\end{eqnarray}}
{I_{nm}}の定義により、nとmが等しい時のみ1となるため、
{\begin{eqnarray}
\sum_{n=1}^{N}\sum_{m=1}^{N}\left(I_{nm} \right) = N
\end{eqnarray}}
よって、
{\begin{eqnarray}
\mathbb{E} \left[ \sigma^2_{ML} \right] &=& \frac{N-1}{N} \sigma^2
\end{eqnarray}}

他のサイトでコンビネーション使った複雑な証明を見ていたので少し複雑な感じ。途中まではそちらの方が理解しやすかったのですが、式展開が長いので、ちょっと断念してました。なんか、いいのかなー、という不思議な気分です。

おまけ

auewe.hatenablog.com

  • LateXの数式なんて書いたの、修論書いたとき以来だと思う。カギカッコの入力さえも戸惑った・・。