わちにんこ

数学科の大学4年生で数学以外にギターの練習を頑張っています.

分布収束と確率収束の関係

この記事の内容

確率変数の分布収束について考えた時,X_n \xrightarrow{L} Xが成り立つ時、Xを移項したような形のX_n - X　\xrightarrow{L} 0が成り立つのか気になったので、確率変数の収束の性質について書いてみました.また,分布収束の部分を確率収束に変えた時の性質も書きました。最後に分布収束と確率収束の関係について書いています。

命題1　X_n \xrightarrow{L} X　 \nRightarrow　X_n - X　\xrightarrow{L} 0

証明

反例をあげれば良い。
X_n ~ N(0,1) , X~N(0,1)と仮定する.この時 , X_n  \xrightarrow{L} Xは明らかに成立し,仮定を満たす.
しかし,
Y_n := X_n-Xと定義しておくと正規分布の再生性から , Y_n ~ N(0,2)であり , Y_n  \xrightarrow{L} N(0,2)となり0に分布収束しない.

命題2　X_n-X \xrightarrow{L} 0 \Rightarrow X_n \xrightarrow{L} X

証明

　
X_n-X \xrightarrow{L}  0  \Leftrightarrow X_n \xrightarrow{p}であることから , XとX_nは漸近同値である.
漸近同値な分布は同じ分布に分布収束するため、X_n  \xrightarrow{L} Xである.

注意　命題2の証明中に漸近同値な分布は同じ分布に分布収束するという定理を用いたがその定理は必携統計的大標本論の定理6(b) にのっています。

命題3　X_n \xrightarrow{p} X \Leftrightarrow X_n - X \xrightarrow{L} 0

証明

これは確率収束の定義から明らか.



以上の性質をまとめた関係図を載せてこの記事を終わりにする.

f:id:napton:20210113020622j:plain
分布収束と確率収束の関係

正規分布の偶数次モーメントの求め方

正規分布の偶数次モーメントは公式で覚えておくと便利なので、その公式と導出を書いてみました.

X~N(0, \sigma) \Rightarrow E[X2k]=(2k-1)!! \sigma^{2k} (kは自然数)

証明


E[X^{2k}] \\\\
=\int_{-\infty}^{\infty} x^{2k}\frac{1}{\sqrt{2\pi\sigma^2}}exp(-\frac{x^2}{2\sigma^2})dx\\\\
=\frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^{\infty}x^{2k} exp(-\frac{x^2}{2\sigma^2})dx\\\\
=\frac{1}{\sqrt{2\pi\sigma^2}}\int_{0}^{\infty}x^{2k} exp(-\frac{x^2}{2\sigma^2})dx　(\because非積分関数が偶関数)\\\\
=\frac{(2\sigma^2)^k}{\sqrt{\pi}}\int_{0}^{\infty} u^{k-\frac{1}{2}} e^{-u}du　(\because u=\frac{x^2}{2\sigma^2}と変数変換)\\\\
=\frac{(2\sigma^2)^k}{\sqrt{\pi}}\Gamma(k+\frac{1}{2})　(\becauseガンマ関数の定義から)\\\\
=\frac{(2\sigma^2)^k}{\sqrt{\pi}}\frac{(2k-1)!!}{2^{k}}\Gamma(\frac{1}{2})　(\because ガンマ関数の性質より)\\\\
=(2k-1)!!\sigma^{2k}

参考文献

1.ガンマ関数の計算に関しては以下のサイトを参考にした. https://ja.wikipedia.org/wiki/%E3%82%AC%E3%83%B3%E3%83%9E%E9%96%A2%E6%95%B0

最尤推定量の漸近正規性から一致性を導く方法

この記事の内容

漸近正規性を持つ最尤推定量は一致性を持つという記述を渡辺澄夫さんのサイト http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/ML_cons2.pdf で見て、なぜ成り立つのかピンとこなかったのでその証明を書いてみました .

本題を示す前に , まず補題を示します .

補題の主張

実数列 (a_n) が a_n \xrightarrow{n} a で , X_n \xrightarrow{L} Xであるとき ,

a_nX_n \xrightarrow{L} aX

補題の証明

分布収束と特性関数の収束は連続定理より , 同値であるため特性関数の収束を示す . \varphi(t),\varphi_{n}(t) をそれぞれX,X_n の特性関数とする.


\varphi_{a_n X_n}(t)\\\\
= E[exp(ita_n X_n)] \\\\
= exp(a_n)E[exp(itX_n)] \\\\
= exp(a_n)\varphi \_{n}(t) \\\\
\xrightarrow{n} exp(a)\varphi(t)\\\\
= \varphi\_{aX}(t)\\\\

ここから本題を示していきます.\

主張

\sqrt{n}(\hat{\theta_{n}}-\theta) \xrightarrow{L} N(0,1) \Rightarrow (\hat{\theta_{n}}-\theta) \xrightarrow{L} 0

証明

X_n=\sqrt{n}(\hat{\theta_{n}}-\theta)とおく . このとき仮定より , X_n \xrightarrow{L} N(0,1)が成立. また,nを無限大に飛ばすと, \frac{1}{\sqrt{n}} \xrightarrow{} 0が成立 .

よって補題より \frac{1}{\sqrt{n}}X_n \xrightarrow{L} N(0,1)　つまり , (\hat{\theta_{n}}-\theta) \xrightarrow{L} 0が成立 .

補足　

補題の定理は確率収束や概収束の場合も成り立つ . 平均r次収束の場合は確認していない .