多項分布から多変量正規分布への近似について(5)

問題

三項分布がサンプルサイズ\(n\)が大きいとき、2次元正規分布に近似できることを示せ

考えたこと

\[ z_{3} = - \sqrt{\frac{p_{1}}{p_{3}}} z_{1}- \sqrt{\frac{p_{2}}{p_{3}}} z_{2}\]

を使って\(z^{2}\)を\(z_{1}, z_{2}\)だけで書き直すと次のようになる。
\[ \begin{align*} &z^{2} = \boldsymbol{z}_{2}^{t}\mathrm{A}\boldsymbol{z}_{2}\\ &\mathrm{A} = \left( \begin{array}{cc} 1 + \frac{p_{1}}{p_{3}} & \frac{\sqrt{p_{1}p_{2}}}{p_{3}}\\ \frac{\sqrt{p_{1}p_{2}}}{p_{3}} & 1 + \frac{p_{2}}{p_{3}} \end{array} \right)\\ &\boldsymbol{z}_{2}^{t} = (z_{1}, z_{2}) \end{align*} \]
\(\mathrm{A}\)は対称行列なので、必ず対角化できる直交行列\(\mathrm{O}\)が存在する。対角行列を\(\mathrm{D}\)とすると
\[\mathrm{A} = \mathrm{O}\mathrm{D}\mathrm{O}^{t}\]
と書ける。\(\boldsymbol{x}_{2} = \mathrm{O}\boldsymbol{z}_{2}\)とすると
\[z^{2} = \sum_{i=1}^{2}\lambda_{i} (x_{2})_{i}\] 

なので、\(x_{i} = \sqrt{\lambda_{i}}(x_{2})_{i}\)が標準正規分布の確率変数になりそうなことが分かる。もう\(W\)は知っているので\(W\Delta n_{1} \Delta n_{2} \simeq p(z_{1}, z_{2}) \Delta z_{1} \Delta z_{2}\)を使うと
\[ p(z_{1}, z_{2})\Delta z_{1} \Delta z_{2} = \frac{1}{2\pi\sqrt{p_{3}}}e^{-z^{2}/2}\Delta z_{1} \Delta z_{2}\]
になるが、ここから\(\Delta (x_{2})_{1} \Delta (x_{2})_{2}\)に書きなおそうとするとヤコビアンがかかるけれども、これは\(|\det \mathrm{O}|\)なので因子として寄与しない。最後に\(\Delta x_{1} \Delta x_{2}\)に書き換えると、\(\prod_{i=1}^{2}\lambda_{i}\)が出てくるが、これは\(\det \mathrm{A}\)に等しい。まとめると、次のようになる。
\[ \begin{align*} p(x_{1}, x_{2}) \Delta (x_{1})_{1} \Delta (x_{2})_{2} &= \frac{1}{2\pi}\frac{1}{\sqrt{\det [\mathrm{A}]p_{3}}}\exp \left(-\sum_{i=1}^{2}x_{i}^{2}/2\right)\Delta x_{1} \Delta x_{2}\\ &= \prod_{i=1}^{2} \frac{1}{\sqrt{2\pi}}e^{-x_{i}^{2}/2}\Delta x_{i} \end{align*} \]
これは、2次元正規分布である。

次回

ここまでで、「三項定理が2次元正規分布に近似できる」ことが分かりました。次回は一旦、\(k\)項分布の場合に挑戦してみます。そこでまた、分からないところが出れば、立ち返って考えてみます。

多項分布から多変量正規分布への近似について(4)

問題

三項分布がサンプルサイズ\(n\)が大きいとき、2次元正規分布に近似できることを示せ

考えたこと

問題に答えるには、\(n\)が大きいときの確率関数\(W\)の式を求めて、

\[ W(n_{1}, n_{2}) \Delta n_{1} \Delta n_{2} \simeq p(z_{1}, z_{2}) \Delta z_{1} \Delta z_{2}\]

を使って、確率密度関数を求めれば良い。この式は

\[ \begin{align*} &\mathrm{Prob}[z_{1} \le Z_{1} \le z_{1} + \Delta z_{1}, z_{2} \le Z_{2} \le z_{2} + \Delta z_{2}] \\ &= \mathrm{Prob}[n_{1} \le N_{1} \le n_{1} + \Delta n_{1}, n_{2} \le N_{2} \le n_{2} + \Delta n_{2}] \end{align*} \]

として、1次元の時と同様に考えると得られる。

ここでは、\(W\)の近似式を得るところまでをやる。確率関数は

\[ \begin{align*} &W = \frac{n!}{n_{1}! n_{2} !n_{3}!} p_{1}^{n_{1}} p_{2}^{n_{3}} p_{3}^{n_{3}}\\ &n_{1} + n_{2} + n_{3} = n\\ &p_{1} + p_{2} + p_{3} = 1 \end{align*} \]

である。二項分布と同様に変数
\[z_{i} = \frac{n_{i} - np_{i}}{\sqrt{np_{i}}} = \frac{m_{i}}{\sqrt{np_{i}}}\]
を導入して、スターリングの公式を使って整理すると、次のようになる。
\[ \begin{align*} W &\simeq \frac{1}{2\pi}\sqrt{\frac{n}{n_{1}n_{2} n_{3}}} \prod_{i=1}^{3} \left(\frac{n_{i}}{np_{i}}\right)^{-n_{i}}\\ &= \frac{1}{2\pi}\sqrt{\frac{n}{n_{1}n_{2} n_{3}}} \left[\prod_{i=1}^{3} \left(1 + \frac{m_{i}}{np_{i}}\right)^{p_{i}}\right]^{-n} \prod_{i=1}^{3} \left(1 + \frac{z_{i}^{2}}{m_{i}}\right)^{-m_{i}} \end{align*} \]
\([\ldots ]\)の部分は、\(m_{i}/(np_{i})\)でテイラー展開して\(\sum_{i=1}^{3} m_{i} = 0\)を使うと
\[ [\ldots ] \simeq 1 + \frac{1}{n} \frac{z^{2}}{2}\]
なので、これを\(W\)に代入して\(\sqrt{\frac{n}{n_{1}n_{2} n_{3}}} \simeq \frac{1}{\sqrt{np_{1} np_{2} p_{3}}}\)を使うと、次のようにまとめられる。
\[ \begin{align*} &W \simeq \prod_{i=1}^{2}\frac{1}{\sqrt{2\pi np_{i}}} \frac{1}{\sqrt{p_{3}}} e^{-z^{2}/2}\\ &z^{2} = z_{1}^{2} + z_{2}^{2} + z_{3}^{2} \end{align*} \]

次回

得られた\(W\)は一見すると3次元正規分布のようだが、実際は2次元である。これはよく、

\[ z_{3} = - \sqrt{\frac{p_{1}}{p_{3}}} z_{1}- \sqrt{\frac{p_{2}}{p_{3}}} z_{2}\]

だからだとか言われるが、次回はこれについて具体的に確かめる。

多項分布から多変量正規分布への近似について(3)

問題

二項分布は、サンプルサイズ\(n\)が大きいときに正規分布に近似できることを示せ。

である。

使う定理や公式

• スターリングの公式
• 指数関数

考えたこと

前回の確率関数\(W\)を\(C = \sqrt{2\pi}\)として、\(p_{i},~~m\)で書くと次のようにまとめられる。

\[ W \simeq \sqrt{\frac{n}{2\pi n_{1}n_{2}}} \left[ \left(1 + \frac{m}{np_{1}}\right)^{p_{1}}\left(1 - \frac{m}{np_{2}}\right)^{p_{2}} \right]^{-n} \left(1 + \frac{x_{1}^{2}}{m}\right)^{-m}\left(1 + \frac{-x_{2}^{2}}{m}\right)^{m}\]
\([\ldots]\)以外は前回と同じ。\(x^{2} = x_{1}^{2} + x_{2}^{2}\)として、
\[ [\ldots] \simeq \exp \left(\frac{x_{1}^{2}}{2p_{1}p_{2}}\right) = e^{x^{2}/2} ~~(*)\]
になることを認めれば、
\[ \begin{align*} &W \simeq \frac{1}{\sqrt{2\pi n p_{1}p_{2}}} e^{-x^{2}/2}\\ &x = \frac{n_{1} - np_{1}}{\sqrt{np_{1}p_{2}}}\\ \end{align*} \]
となる。従って、二項分布は\(n >> 1\)のとき正規分布に近づく。

(*)の評価

(*)を示すには

\[ \lim_{n\to \infty} \left| e^{x^{2}/2} - \left[\left(1 + \frac{m}{np_{1}}\right)^{p_{1}}\left(1 - \frac{m}{np_{2}}\right)^{p_{2}} \right]^{n}\right| = 0\]

になることを確認すれば良い。

\[ \begin{align*} a &= e^{x^{2}/(2n)}\\ b &= \left(1 + \frac{m}{np_{1}}\right)^{p_{1}} \left(1 - \frac{m}{np_{2}}\right)^{p_{2}} \end{align*} \]
としたとき、\(a^{n} - b^{n} = (a-b)\sum_{i=0}^{n-1}a^{i}b^{n-1-i}\)なので\(a \le c,~~b \le c\)な\(c\)をとると
\[ |a^{n} - b^{n}| \le n c^{n}|a - b|\]
である。\(b\)を\(m/n\)で展開して、\(x_{1} = m/\sqrt{n} = \mathcal{O}(1)\)であることを使うと
\[ \begin{align*} a - b &= e^{y/n} - \left( 1 + \frac{y}{n} + \mathcal{O}(N^{-3/2})\right)\\ &= \left(\frac{y}{n}\right)^{2}\sum_{k=2}^{\infty}\frac{1}{k!}\left(\frac{y}{n}\right)^{k} + \mathcal{O}(N^{-3/2})\\ \end{align*} \]

となる。\(y/n \le 1\)なので右辺第一項は
\[ \text{第一項} \le \left(\frac{y}{n}\right)^{2}\sum_{i=2}^{\infty} \frac{1}{k!} = \left(\frac{y}{n}\right)^{2}(e - 2)\]
であるから全体として\(a - b = \mathcal{O}(N^{-3/2})\)である。これを使うと\( |a^{n}-b^{n}| = \mathcal{O}(N^{-1/2})\)になることが分かるので\(n \to \infty\)で\(0\)に収束する。

次回

次回は三項分布について同じ解析をする予定です。$k$項分布の場合の式を予想するためです。

多項分布から多変量正規分布への近似について(2)

問題

二項分布は、サンプルサイズ\(n\)が大きいときに正規分布に近似できることを示せ。二項分布の確率関数\(W\)は

\[ \begin{align*} &W = \frac{n!}{n_{1}! n_{2}!} p_{1}^{n_{1}} p_{2}^{n_{2}}\\ &n_{1} + n_{2} = n\\ &p_{1} + p_{2} = 1 \end{align*} \]

である。

使う定理や公式

• 不完全なスターリングの公式
• 指数関数

考えたこと

不完全なスターリングの公式を使うと

\[ \frac{n!}{n_{1}!n_{2}!} \simeq \frac{1}{C} \sqrt{\frac{n}{n_{1}n_{2}}}\left(\frac{n_{1}}{n}\right)^{- n_{1}}\left(\frac{n_{2}}{n}\right)^{-n_{2}} \]
である。これを使うと、次のようにまとめることができる。
\[ W \simeq \frac{1}{C} \sqrt{\frac{n}{n_{1}n_{2}}} \left(\frac{n_{1}}{np_{1}}\right)^{- n_{1}}\left(\frac{n_{2}}{np_{2}}\right)^{-n_{2}} \]
連続分布に移行したとき、\(X_{i} \sim \mathrm{N}(0, 1)\)になるように定義する。
\[ E[n_{i}] = V[n_{i}] = np_{i}\]
なので、
\[ x_{i} = \frac{n_{i} - np_{i}}{\sqrt{np_{i}}} = \frac{m_{i}}{\sqrt{np_{i}}}\]
とする。以下では、計算を容易にするために\(m = m_{1} = - m_{2}\)として、\(p_{1} = p_{2} = p (= 1/2)\)の場合を考える。すると次のように書ける。
\[ W \simeq \frac{1}{C} \sqrt{\frac{n}{n_{1}n_{2}}} \left(1 + \frac{-2x_{1}^{2}}{n}\right)^{-n/2} \left(1 + \frac{x_{1}^{2}}{m}\right)^{-m}\left(1 + \frac{-x_{1}^{2}}{m}\right)^{m}\]
\(\sqrt{\frac{n}{n_{1}n_{2}}} \simeq 2 \frac{1}{\sqrt{n}}\)で、指数関数の定義を使えば
\[ \begin{align*} W &\simeq \frac{2}{C\sqrt{n}} e^{-x^{2}/2}\\ x^{2} &= x_{1}^{2} + x_{2}^{2} \end{align*} \]
となる。前回得た式と\(\Delta n = \frac{\sqrt{n}}{2} \Delta x\)を使うと
\[ p(x) = \frac{1}{C}e^{-x^{2}/2}\]
を得る。確率密度関数の規格化条件から\(C = \sqrt{2\pi}\)も得られるので、完全なスターリングの公式も得られる。

次回

\(p_{1} = p_{2}(=1/2)\)の場合のみ得られたので、次回はこの制限を取り払った場合を考える。

多項分布から多変量正規分布への近似について(1)

理解したいこと

多項分布はサンプルサイズが大きいとき、多変量正規分布に近づく

考えたこと

多項分布は離散分布で、多変量正規分布は連続分布なので、どう対応付くのかまず知る必要がある。ここでは1変数になる場合を考える。離散確率変数が\(n\)から\(n + \Delta n\)に変わるのに対応して、近似によって得られた確率分布の連続確率変数が\(x\)から\(x + \Delta x\)に変わるとすると
\[ \mathrm{Prob}[x \le X \le x + \Delta x] = \mathrm{Prob}[n \le N \le n + \Delta n]\]
が成り立つ。左辺を確率密度関数\(p(x)\)で書くと、
\[ \mathrm{Prob}[x \le X \le x + \Delta x] = \int_{x}^{x + \Delta x} p(x^{\prime}) dx^{\prime}\]
となる。\(F(x) = \int p(x) dx\)とすると右辺は\(F(x + \Delta x) - F(x)\)になる。\(\Delta x\)が小さいとして、\(F(x+\Delta x)\)を\(x\)まわりでテイラー展開すると、次のようになる。
\[ \begin{align*} F (x + \Delta x) &= F (x) + \frac{dF(x)}{dx} \Delta x + \mathcal{O}(\Delta x^{2})\\ &= F(x) + p(x)\Delta x + \mathcal{O}(\Delta x^{2}) \end{align*} \]
従って
\[  \mathrm{Prob}[x \le X \le x + \Delta x] = p(x) \Delta x + \mathcal{O}(\Delta x^{2})\]
だと分かる。次に離散確率の場合は、確率\(W(n)\)を使って書くと
\[ \mathrm{Prob}[n \le N \le n + \Delta n] = \sum_{k=n}^{n + \Delta n} W(k)\]
である。\(k\)が\(n\)から\(n + \Delta n\)に変化する間、\(\Delta x\)しか変化しないので、\(W(k)\)の値もあまり変化しない。従って
\[ \mathrm{Prob}[n \le N \le n + \Delta n] \simeq W(n)\Delta n\]
である。以上より、離散分布を連続分布に近似できるとき、次の関係が成り立つことが分かった。
\[ W(n)\Delta n \simeq p (x) \Delta x \]

次回

今回得られた関係を使って、二項分布を正規分布に近似できることを示す。