仕事やプライベートで調べたことのメモ書きなど（＠札幌）

仕事やプライベートで調べたこと、興味ある事のメモ書きです。2016年4月から札幌で働いてます。※このブログは個人によるもので、団体を代表するものではありません。

いややっぱり気になる・・・。Re : わかったつもり？、分散の(n-1)問題！(2017/6/6@社内PRML勉強会)

PRML 仕事

前回はPRML勉強会で華麗な式展開にノックダウンされた興奮のままに投稿しました。で、なんかわかったつもりになってました。
takumats.hatenablog.com

でもやっぱり気になって。。。参考ページは以下。
tech.naviplus.co.jp

で、以下からスタートしてみます。以下からはnを標本の数、Nを母集団の数とします。※前回の投稿ではNを標本の数としていました。

{\begin{eqnarray} \text{標本の分散} = \frac{n-1}{n^2} \sum_{j=1}^n x_j^2 - \frac{2}{n^2} \sum_{j1,j2}^n x_{j1}x_{j2} \end{eqnarray}}

すると、

{\begin{eqnarray} \text{標本の分散の平均} = \frac{1}{{}_N \mathrm{C} _n}\frac{n-1}{n^2} \sum_{i=1}^{{}_N \mathrm{C} _n}\sum_{j=1}^n x_{i,j}^2 - \frac{1}{{}_N \mathrm{C} _n}\frac{2}{n^2} \sum_{i=1}^{{}_N \mathrm{C} _n}\sum_{j1,j2}^n x_{i,j1}x_{i,j2} \end{eqnarray}}

ここで、以下を使用します。
{\begin{eqnarray} \begin{aligned} \sum_{i=1}^{{}_N C_n} \sum_{j=1}^n f(x_{i,j}) &= {}_{N-1} C_{n-1} \sum_{k=1}^N f(x_k) \\ \sum_{i=1}^{{}_N C_n} \sum_{j_1, j_2}^n f(x_{i,j_1,}, x_{i,j_2}) &= {}_{N-2} C_{n-2} \sum_{k_1, k_2}^N f(x_{i,j_1,}, x_{i,j_2}) \end{aligned} \end{eqnarray}}

すると、
{\begin{eqnarray} \text{標本の分散の平均} &=& \frac{1}{{}_N C_n} \frac{n-1}{n^2} {}_{N-1}C_{n-1} \sum_{k=1}^N x_k^2 – \frac{1}{{}_N C_n} \frac{2}{n^2} {}_{N-2}C_{n-2} \sum_{k_1,k_2}^N x_{k_1} x_{k_2} \\ &=& \frac{n!(N-n)!}{N!} \frac{n-1}{n^2} \frac{(N-1)!}{(n-1)!(N-n)!} \sum_{k=1}^N x_k^2 – \frac{n!(N-n)!}{N!} \frac{2}{n^2} \frac{(N-2)!}{(n-2)!(N-n)!} \sum_{k_1,k_2}^N x_{k_1} x_{k_2} \\ &=& \frac{n!}{N!} \frac{n-1}{n^2} \frac{(N-1)!}{(n-1)!} \sum_{k=1}^N x_k^2 – \frac{n!}{N!} \frac{2}{n^2} \frac{(N-2)!}{(n-2)!} \sum_{k_1,k_2}^N x_{k_1} x_{k_2} \\ &=& \frac{n-1}{n^2} \frac{n!}{(n-1)!} \frac{(N-1)!}{N!} \sum_{k=1}^N x_k^2 – \frac{2}{n^2} \frac{n!}{(n-2)!} \frac{(N-2)!}{N!} \sum_{k_1,k_2}^N x_{k_1} x_{k_2} \\ &=& \frac{n-1}{n^2} \frac{n}{1} \frac{1}{N} \sum_{k=1}^N x_k^2 – \frac{2}{n^2} \frac{n(n-1)}{1} \frac{1}{N(N-1)} \sum_{k_1,k_2}^N x_{k_1} x_{k_2} \\ &=& \frac{n-1}{n} \frac{1}{N} \sum_{k=1}^N x_k^2 – \frac{n-1}{n} \frac{2}{N(N-1)} \sum_{k_1,k_2}^N x_{k_1} x_{k_2} \\ &=& \frac{n-1}{n} \frac{1}{N} \left( \frac{N^2}{N-1} \frac{N-1}{N^2} \right) \sum_{k=1}^N x_k^2 – \frac{n-1}{n} \frac{2}{N(N-1)} \left( \frac{N^2}{2} \frac{2}{N^2} \right) \sum_{k_1,k_2}^N x_{k_1} x_{k_2} \\ &=& \frac{n-1}{n} \frac{N}{N-1} \frac{N-1}{N^2} \sum_{k=1}^N x_k^2 – \frac{n-1}{n} \frac{N}{N-1} \frac{2}{N^2} \sum_{k_1,k_2}^N x_{k_1} x_{k_2} \\ &=& \frac{n-1}{n} \frac{N}{N-1} \left( \frac{N-1}{N^2} \sum_k^N x_k^2 – \frac{2}{N^2} \sum_{k_1,k_2}^N x_{k_1} x_{k_2} \right) \\ &=& \frac{n-1}{n} \frac{N}{N-1} \text{母集団の分散} \end{eqnarray}}

なんと、前回出てこなかった、{\frac{N}{N-1}}なんてのが出てきました！
Nを無限大に持っていくと消えるのだとは思いますが・・・。

ということで、前回は以下を使ったのですが、
{\begin{eqnarray} \mathbb{E}\left[x^2\right] &=& \mu^2 + \sigma^2 \end{eqnarray}}
ここが何か正確ではないんじゃないかと思ってます。
{\begin{eqnarray} \mathbb{E}\left[\frac{1}{n} \sum_{i=1}^{n} x_i^2\right] &=& \frac{1}{n} \sum_{i=1}^{n}\mathbb{E}\left[x_i^2\right] \\ &=& \mu^2 + \sigma^2 \end{eqnarray}}

が、あってるのかな・・・？

明日先生に聞いてみるしかないな・・・。