多項分布から多変量正規分布への近似について(1)

理解したいこと

多項分布はサンプルサイズが大きいとき、多変量正規分布に近づく

考えたこと

多項分布は離散分布で、多変量正規分布は連続分布なので、どう対応付くのかまず知る必要がある。ここでは1変数になる場合を考える。離散確率変数が\(n\)から\(n + \Delta n\)に変わるのに対応して、近似によって得られた確率分布の連続確率変数が\(x\)から\(x + \Delta x\)に変わるとすると
\[ \mathrm{Prob}[x \le X \le x + \Delta x] = \mathrm{Prob}[n \le N \le n + \Delta n]\]
が成り立つ。左辺を確率密度関数\(p(x)\)で書くと、
\[ \mathrm{Prob}[x \le X \le x + \Delta x] = \int_{x}^{x + \Delta x} p(x^{\prime}) dx^{\prime}\]
となる。\(F(x) = \int p(x) dx\)とすると右辺は\(F(x + \Delta x) - F(x)\)になる。\(\Delta x\)が小さいとして、\(F(x+\Delta x)\)を\(x\)まわりでテイラー展開すると、次のようになる。
\[ \begin{align*} F (x + \Delta x) &= F (x) + \frac{dF(x)}{dx} \Delta x + \mathcal{O}(\Delta x^{2})\\ &= F(x) + p(x)\Delta x + \mathcal{O}(\Delta x^{2}) \end{align*} \]
従って
\[  \mathrm{Prob}[x \le X \le x + \Delta x] = p(x) \Delta x + \mathcal{O}(\Delta x^{2})\]
だと分かる。次に離散確率の場合は、確率\(W(n)\)を使って書くと
\[ \mathrm{Prob}[n \le N \le n + \Delta n] = \sum_{k=n}^{n + \Delta n} W(k)\]
である。\(k\)が\(n\)から\(n + \Delta n\)に変化する間、\(\Delta x\)しか変化しないので、\(W(k)\)の値もあまり変化しない。従って
\[ \mathrm{Prob}[n \le N \le n + \Delta n] \simeq W(n)\Delta n\]
である。以上より、離散分布を連続分布に近似できるとき、次の関係が成り立つことが分かった。
\[ W(n)\Delta n \simeq p (x) \Delta x \]

次回

今回得られた関係を使って、二項分布を正規分布に近似できることを示す。