確率・統計 - 第6講
(Press ? for help, n and p for next and previous slide)
村田 昇
定義
特性関数 は指数関数を用いて変数変換された確率変数の平均として
\begin{equation} \phi(s)=\mathbb{E}[e^{isX}] \end{equation}で定義される．
逆変換の存在
特性関数と確率測度(確率密度)は一対一に対応している
(Levy-Havilandの反転公式)
分布の同一性
2つの分布の特性関数が同じであれば， 2つの分布が同じであることが言える．
\(X\) を標準正規分布に従う確率変数とする
\begin{align} \phi_{X}(s) &=\mathbb{E}[e^{isX}]\\ &=\int_{-\infty}^{\infty}e^{isx}\cdot \frac{1}{\sqrt{2\pi}}e^{-\frac{x^{2}}{2}}dx\\ &=e^{-\frac{s^{2}}{2}}\int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}}e^{-\frac{(x-is)^{2}}{2}}dx\\ &=e^{-\frac{s^{2}}{2}} \end{align}
平均値の乗法性
確率変数 \(X_1,X_2,\dotsc,X_n\) が独立 \(\Rightarrow\)
\begin{equation} \mathbb{E}[X_1X_2\dotsm X_n] =\mathbb{E}[X_1]\mathbb{E}[X_2]\dotsm\mathbb{E}[X_n] \end{equation}
分散の加法性
確率変数 \(X_1,X_2,\dotsc,X_n\) の任意の2変数が独立 \(\Rightarrow\)
\begin{align} &\mathrm{Var}(X_1+X_2+\dotsb+X_n)\\ &=\mathrm{Var}(X_1)+\mathrm{Var}(X_2)+\dotsb+\mathrm{Var}(X_n) \end{align}
確率変数列
確率変数の列(可算無限でも良い)を
\begin{equation} \{X_{n}\}=\{X_{1},X_{2},X_{3},\dotsc\} \end{equation}と書く． 一般に \(X_{n}\) はそれぞれ異なる分布 \(P^{X_{n}}\) に従っていて構わない．
確率変数列の性質の記述
確率変数 \(X_{n}\) の平均や分散などをまとめて表記するときは \(\{\mathbb{E}[X_{n}]\}\) や \(\{\mathrm{Var}(X_{n})\}\) のように書く． 例えば
\begin{equation} \sup_{n} \mathrm{Var}(X_{n}) < \infty \end{equation}は “\(\{\mathrm{Var}(X_{n})\}\) が有界である” と書く．
定理
\(\{X_n\}\) を確率変数列として
\begin{equation} S_n=\sum_{k=1}^n X_k \end{equation}とする． また， \(\{X_n\}\) は独立で， \(\{\mathrm{Var}(X_n)\}\) は有界とする． 任意の \(\varepsilon>0\) に対して， \(n(\varepsilon)\) を十分大きくとれば， すべての \(n>n(\varepsilon)\) に対して
\begin{equation} P\left(\frac{|S_n-\mathbb{E}[S_n]|}{n}>\varepsilon\right) <\varepsilon \end{equation}とすることができる．
定理
任意の確率変数 \(X\) において任意の \(a>0\) に対して
\begin{equation} P\left(|X(\omega)-\mathbb{E}[X]|>a\right) \le\frac{1}{a^2}\mathrm{Var}(X) \end{equation}が成り立つ．
証明
\begin{equation} A=\left\{\omega\big||X(\omega)-\mathbb{E}[X]|>a\right\} \end{equation}とする．分散の性質から
\begin{align} \mathrm{Var}(X) &=\mathbb{E}[(X-\mathbb{E}[X])^2]\\ &=\mathbb{E}[(X-\mathbb{E}[X])^2, \Omega]\\ &=\mathbb{E}[(X-\mathbb{E}[X])^2, A+A^c]\\ &=\mathbb{E}[(X-\mathbb{E}[X])^2, A]+\mathbb{E}[(X-\mathbb{E}[X])^2, A^c]\\ &\ge \mathbb{E}[(X-\mathbb{E}[X])^2,A]\ge a^2 P(A) \end{align}であるので，題意が証明される．
step 1
まず \(a>0\) として Čebyšëv の不等式より
\begin{equation} P\left(|S_n-\mathbb{E}[S_n]|>a\right) \le\frac{1}{a^2}\mathrm{Var}(S_n) \end{equation}が成り立つ．
step 2
\(\{X_n\}\) の独立性より
\begin{equation} \mathrm{Var}(S_n) =\sum_{k=1}^n\mathrm{Var}(X_k) \le n\cdot\max_{k}\mathrm{Var}(X_k) \end{equation}がいえる．
step 3
\(a=n\varepsilon\) と置き換えることによって
\begin{equation} P\left(\frac{|S_n-\mathbb{E}[S_n]|}{n}>\varepsilon\right) \le\frac{1}{n\varepsilon^2}\max_{k}\mathrm{Var}(X_k) \end{equation}が成り立つ．
step 4
\(n\to\infty\) とすると右辺は \(\{\mathrm{Var}(X_n)\}\) の有界性より0になる． したがって任意の \(\varepsilon>0\) に対して
\begin{equation} \lim_{n\to\infty} P\left(\frac{|S_n-\mathbb{E}[S_n]|}{n}>\varepsilon\right) \to 0 \end{equation}が成り立つ．
定理
\(\{X_n\}\) を確率変数列として
\begin{equation} S_n=\sum_{k=1}^n X_k \end{equation}とする． \(\{X_n\}\) が独立で， \(\{\mathrm{Var}(X_n)\}\) が有界ならば
\begin{equation} \frac{S_n-\mathbb{E}[S_n]}{n}\to 0 \text{ a.s.} \end{equation}が成り立つ．
定理
確率変数列 \(\{X_n\}\) が独立で同じ分布に従い， \(\{\mathbb{E}[|X_n|]\}\) が有界であるとする． \(\{X_n\}\) の平均値を \(\mu\) とすると，
\begin{equation} \frac{S_n}{n}\to \mu\quad \text{a.s.} \end{equation}が成り立つ．
定理の意味
条件を満たすならば， \(n\) が十分大きくとれる(十分多くの観測を行うことができる)とき， 平均値 \(\mu\) の近似値として観測値の算術平均
\begin{equation} \frac{S_n}{n}=\frac{\sum_{i=1}^nX_i}{n} \end{equation}を使って良い.
定理
\(\{X_n\}\) は独立で，その分散が有界， \(S_n=\sum_{k=1}^n X_k\) とする． すべての \(\varepsilon>0\) に対し
\begin{multline} \frac{1}{\mathrm{Var}(S_n)}\sum_{k=1}^n \mathbb{E}\left[(X_k-\mathbb{E}[X_k])^2, |X_k-\mathbb{E}[X_k]|\ge\varepsilon\sqrt{\mathrm{Var}(S_n)}\right]\\ \to 0 \; (n\to\infty) \end{multline}ならば， \(n\to\infty\) のとき
\begin{equation} T_n=\frac{S_n-\mathbb{E}[S_n]}{\sqrt{\mathrm{Var}(S_n)}} \end{equation}の確率法則は 標準正規分布 \(N(0,1)\) に近づく．
定理
\(\{X_n\}\) が独立で，正の分散を持つ同じ分布に従うときには 中心極限定理が成り立つ．
Lindeberg の条件の確認
同分布の場合には
\begin{multline} \frac{1}{\mathrm{Var}(X)} \mathbb{E}\left[(X-\mathbb{E}[X])^2, |X-\mathbb{E}[X]|\ge\varepsilon\sqrt{n\mathrm{Var}(X)}\right] \to 0\\ (n\to\infty) \end{multline}と書かれる． 左辺は， 平均値から \(\sqrt{n\mathrm{Var}(X)}\) 以上離れた標本点が得られるという 事象 \(|X-\mathbb{E}[X]|\ge\varepsilon\sqrt{n\mathrm{Var}(X)}\) の下での分散の評価を表すが， これは \(n\) が大きくなるとともに0に近づくので， Lindeberg の条件は満たされる．
\(T_n\) の書き換え
\(\{X_n\}\) の 平均を \(\mathbb{E}[X]=\mu\) ， 分散を \(\mathrm{Var}(X)=\sigma^{2}\) と書き， \(\{X_n\}\) の標本平均を
\begin{equation} \bar{X}_{n}=\frac{1}{n}\sum_{i=1}^{n}X_{i}=\frac{S_{n}}{n} \end{equation}と定義すると
\begin{equation} T_n=\frac{S_n-\mathbb{E}[S_n]}{\sqrt{\mathrm{Var}(S_n)}} =\frac{n\bar{X}_{n}-n\mathbb{E}[X]}{\sqrt{n\mathrm{Var}(X)}} =\frac{\sqrt{n}(\bar{X}_{n}-\mu)}{\sigma} \end{equation}である．
定理の別表現
\(\{X_n\}\) は独立で， 平均 \(\mu\) ，標準偏差 \(\sigma\) の同じ分布に従うとする． このとき，すべての実数 \(a < b\) に対して
\begin{equation} P\Bigl(a\leq\frac{\sqrt{n}(\bar{X}_n-\mu)}{\sigma}\leq b \Bigr) \to\frac{1}{\sqrt{2\pi}}\int_a^be^{-\frac{x^2}{2}}dx\quad (n\to\infty) \end{equation}が成り立つ．
定理の意味
\(X_i\) の分布が何であっても， サンプル数 \(n\) が十分大きければ， 標本平均と真の平均の差 \(\bar{X}_n-\mu\) の分布は， 標準正規分布 を利用して
\begin{equation} P\Bigl(a\frac{\sigma}{\sqrt{n}}\leq\bar{X}_n-\mu\leq b\frac{\sigma}{\sqrt{n}} \Bigr) \simeq \frac{1}{\sqrt{2\pi}}\int_a^be^{-\frac{x^2}{2}}dx \end{equation}で近似できる．
評価の例
\begin{align} \alpha&=1&&\frac{1}{\sqrt{2\pi}}\int_{-1}^{1}e^{-\frac{x^2}{2}}dx=0.6827\\ \alpha&=2&&\frac{1}{\sqrt{2\pi}}\int_{-2}^{2}e^{-\frac{x^2}{2}}dx=0.9545\\ \alpha&=3&&\frac{1}{\sqrt{2\pi}}\int_{-3}^{3}e^{-\frac{x^2}{2}}dx=0.9973 \end{align}
以下の関数を \(x=0\) のまわりで Taylor 展開せよ．
関数 \(f(x)\) の点 \(x=a\) における Taylor 展開:
\begin{multline} f(x)=f(a) +(x-a)\frac{f^{(1)}(a)}{1!} +(x-a)^2\frac{f^{(2)}(a)}{2!} +\dotsb\\ +(x-a)^{n-1}\frac{f^{(n-1)}(a)}{(n-1)!} +(x-a)^n\frac{f^{(n)}(\xi)}{n!} \end{multline}\begin{equation} \xi=a+\theta(x-a),\quad 0<\theta<1 \end{equation}
以下の極限を求めよ
\begin{equation} \lim_{n\to\infty}\left(1+\frac{x}{n}\right)^n \end{equation}
以下では同分布の場合の定理を考える
\(\{X_n\}\) は独立で， 平均 \(\mathbb{E}[X]=\mu\)， 分散 \(\mathrm{Var}(X)=\sigma^{2}>0\) の同分布に従い， \(S_n=\sum_{k=1}^n X_k\) とする． \(n\to\infty\) のとき
\begin{equation} T_n =\frac{S_n-\mathbb{E}[S_n]}{\sqrt{\mathrm{Var}(S_n)}} \end{equation}の確率法則は 標準正規分布 \(N(0,1)\) に近づく．
step 1
確率変数 \(Y_{nk}\) を
\begin{equation} Y_{nk} =\frac{X_k-\mathbb{E}[X]}{\sqrt{n\mathrm{Var}(X)}} =\frac{X_k-\mu}{\sqrt{n}\sigma} \end{equation}とおくと \(\mathrm{Var}(S_n)=n\mathrm{Var}(X)\) であることから \(T_n\) は
\begin{equation} T_n=\sum_{k=1}^nY_{nk} \end{equation}と表される．
step 2
このとき
\begin{align} \mathbb{E}[Y_{nk}]&=0, \\ \mathrm{Var}(Y_{nk})&=\mathbb{E}[Y_{nk}^2] =\frac{1}{n}\frac{\mathrm{Var(X)}}{\sigma^{2}} =\frac{1}{n},\\ \mathbb{E}[T_n] &=0, \\ \mathrm{Var}(T_n)&=\sum_{k=1}^n\mathrm{Var}(Y_{nk}) =\sum_{k=1}^n\mathbb{E}[Y_{nk}^2] =1 \end{align}となる．
step 3
\(\{Y_{nk},k=1,2,\dotsc,n\}\) は独立であるから， \(T_n\) の特性関数は独立変数の平均値の乗法性より
\begin{equation} \mathbb{E}[e^{isT_n}]=\prod_{k=1}^{n}\mathbb{E}[e^{isY_{nk}}] \end{equation}と分解できる．
step 4
\(Y_{nk}\) の特性関数に着目して 指数関数を適当な項までTaylor展開する．
\begin{align} \mathbb{E}[e^{isY_{nk}}] &=\mathbb{E}\left[1+isY_{nk}-\frac{1}{2}s^2Y_{nk}^2 +\text{(\(Y_{nk}^3\)以上の項)}\right]\\ &=1+is\mathbb{E}[Y_{nk}]-\frac{1}{2}s^2\mathbb{E}[Y_{nk}^2] +\mathbb{E}[\text{(\(s^{3}Y_{nk}^3\)以上の項)}]\\ &=1-\frac{1}{2n}s^2 +\frac{r_{n}(s)}{n} \end{align}ただし \(r_{n}(s)\) は \(\lim_{n\to\infty}r_{n}(s)=0\) となることに注意．
step 5
したがって
\begin{equation} \mathbb{E}[e^{isT_n}] =\prod_{k=1}^{n}\left( 1-\frac{1}{2n}s^2 +\frac{r_{n}(s)}{n}\right) =\left( 1+\frac{-s^2/2}{n} +\frac{r_{n}(s)}{n}\right)^{n} \end{equation}であるから
\begin{equation} \lim_{n\to\infty}\mathbb{E}[e^{isT_n}] =\lim_{n\to\infty}\left( 1+\frac{-s^2/2}{n} +\frac{r_{n}(s)}{n}\right)^{n} =e^{-\frac{s^2}{2}} \end{equation}
偏りのないコインを投げたとき表なら1， 裏なら-1となる確率変数 \(X\) を考える． n回投げたときに得られた結果を \(X_1,X_2,\dotsc,X_n\) と書く．
\begin{equation} Y_{n}=\frac{X_{1}+X_{2}+\dotsb+X_{n}}{\sqrt{n}} \end{equation}
とするとき，以下の問に答えよ．