確率・統計 - 第4講
(Press ?
for help, n
and p
for next and previous slide)
村田 昇
定義
ある試行 \(T\) の確率空間を \((\Omega,\mathcal{F},P)\) とする.
\(\Omega\) から実数 \(\mathbb{R}\) への写像
\begin{align} X:\; &\Omega\to \mathbb{R}\\ &\omega\mapsto X(\omega) \end{align}として定義される実数値関数 \(X(\omega)\) を確率空間 \((\Omega,\mathcal{F},P)\) 上の (実)確率変数 (random variable) と呼ぶ.
骰子振りの確率変数
骰子を振ると(出た目 \(\times 100\) )円の賞金が貰えるとする.
骰子の目を \(\omega\) で表すと賞金 \(X\) は
\begin{equation} X(\omega)=100\omega \end{equation}という確率変数であると考えることができる.
二回の骰子振りの確率変数
骰子を二回振ったときの出た目の和を考える. このときの標本空間は
\begin{align} \Omega &=\{(\omega_1,\omega_2)|\;\omega_1,\omega_2=1,2,\dotsc,6\}\\ &=\{1,2,\dotsc,6\}\times\{1,2,\dotsc,6\} \quad\text{(直積集合)} \end{align}となり, 出た目の和 \(X\) は確率変数である:
\begin{equation} X(\omega_1,\omega_2)=\omega_1+\omega_2 \end{equation}出た目の大小で確率変数を定義することもできる:
\begin{equation} Y(\omega_1,\omega_2)= \begin{cases} 1,& \omega_1>\omega_2\\ 0,& \omega_1=\omega_2\\ -1,& \omega_1<\omega_2 \end{cases} \end{equation}
ルーレット回しの確率変数
“ルーレット回し”の試行において, ルーレットの目盛り \(\omega\) が有理数なら1点, 無理数なら0点の得点が得られるとする. このとき点数
\begin{equation} X(\omega)= \begin{cases} 1, & \text{\(\omega\)が有理数}\\ 0, & \text{\(\omega\)が無理数} \end{cases} \end{equation}は \(\Omega=(0,1]\) 上の確率変数である. 同様に出た目盛りが0にどれだけ近いかに応じて 点数がもらえるとする. この点数を
\begin{equation} Y(\omega)=\log\frac{1}{\omega} \end{equation}で定めれば, \(Y\) も \(\Omega=(0,1]\) 上の確率変数である.
骰子振り
“1が出るまで骰子を振り続ける”試行で得られる標本点を \(\omega\) とする. このとき,系列 \(\omega\) の長さ
\begin{equation} X(\omega)=\text{系列\(\omega\)の長さ} \end{equation}は自然数 \(\mathbb{N}\) の値を取る確率変数と考えることができる.
工場の製品
ある工場で生産されるエンジンの抜き取り検査をして, 最大出力と燃費を測定したとする. この場合は標本点 \(\omega\) は生産されるエンジンの個体を表し, 最大出力 \(X(\omega)\) と燃費 \(Y(\omega)\) は個体 \(\omega\) ごとに異なる 確率変数であると考えることができる.
定義
確率変数 \(X(\omega)\) は \(\omega\) が従う確率法則によってばらつく確率的な量であるため, 確率変数 \(X(\omega)\) の確率空間を考えることができる. 確率変数 \(X(\omega)\) の取り得る全ての値の集合を 確率変数 \(X\) の標本空間 (sample space) と呼ぶ.
\begin{equation} \Omega^X =X(\Omega) \qquad \text{(\(\Omega\)の各点を\(X\)で写像した像(点)の集合)} \end{equation}
標本点の写像
標本空間 \(\Omega^X\) の任意の部分集合 \(B\) に対して “\(X\) の値が \(B\) に入る” (\(X\in B\)) という事象を定義する. この事象に含まれる元の標本空間 \(\Omega\) の標本点は
\begin{equation} A =\{\omega|\;\text{\(X(\omega)\)が\(B\)に入る}\} =\{\omega|\;X(\omega)\in B\}\subset\Omega \end{equation}であり \(A\) の確率は元の確率空間で考えることができる.
\begin{equation} P(\text{\(X\)の値が\(B\)に入る})=P(A) \end{equation}
事象の写像
\(X\) を \(\Omega\) の部分集合から \(\mathbb{R}\) の部分集合へ対応させる関数
\begin{equation} B=\{X(\omega)|\;\omega\in A\}=X(A) \end{equation}とみなして,その逆関数を
\begin{equation} X^{-1}(B)=\{\omega|\;X(\omega)\in B\}=A \end{equation}によって定義する.
確率測度の変換
\(X\) の値が \(B\) に入る確率は
\begin{equation} P(X^{-1}(B))=P\{\omega|\;X(\omega)\in B\} \end{equation}と表される. これを \(B\) の関数とみて
\begin{equation} P^X(B)=P(X^{-1}(B)) \end{equation}と書くと, \(P^X\) は \(\Omega^X\) 上の \(X\) の 確率測度を表す.
\(\Omega^X\) は \(\mathbb{R}\) の部分集合なので, \(\Omega^X\) 上の Borel 集合族を \(\mathcal{F}^X\) と書くことにすれば, \((\Omega^X,\mathcal{F}^X,P^X)\) も確率空間になる.
確率測度の条件の確認
事象の写像の基本的な性質
\begin{align} &X^{-1}(B_1+B_2)=X^{-1}(B_1)+X^{-1}(B_2)\\ &X^{-1}(\Omega^X)=\Omega \end{align}より \(P^X\) が条件を満たしていることが確認できる.
\begin{align} P^{X}(B) &=P(X^{-1}(B))\ge0 &&\text{(正値性)}\\ P^{X}(B_{1}+B_{2}) &=P(X^{-1}(B_{1}+B_{2}))\\ &=P(X^{-1}(B_{1})+X^{-1}(B_{2}))\\ &=P(X^{-1}(B_{1}))+P(X^{-1}(B_{2}))\\ &=P^{X}(B_{1})+P^{X}(B_{2}) &&\text{(加法性)}\\ P^{X}(\Omega^{X}) &=P(X^{-1}(\Omega^{X})) =P(\Omega)=1 &&\text{(全確率)} \end{align}
二回の骰子振りの確率変数 \(X\)
標本空間,および確率測度は以下のとおり.
\begin{equation} \Omega^X =\{2,3,4,\dotsc,11,12\} \end{equation}\begin{align} P^X(X=2)&=P\left((\omega_1,\omega_2)\in\{(1,1)\}\right) =\frac{1}{36},\\ P^X(X=3)&=P\left((\omega_1,\omega_2)\in\{(1,2),(2,1)\}\right) =2\cdot\frac{1}{36}=\frac{1}{18},\\ P^X(X=4)&=P\left((\omega_1,\omega_2)\in\{(1,3),(2,2),(3,1)\}\right)\\ &\qquad=3\cdot\frac{1}{36}=\frac{1}{12},\\ &\vdots\\ % P^X(X=11)&=P\left((\omega_1,\omega_2)\in\{(5,6),(6,5)\}\right) % =2\cdot\frac{1}{36}=\frac{1}{18},\\ % P^X(X=12)&=P\left((\omega_1,\omega_2)\in\{(6,6)\}\right) % =\frac{1}{36} \end{align}
二回の骰子振りの確率変数 \(Y\)
標本空間,および確率測度は以下のとおり.
\begin{equation} \Omega^Y =\{1,0,-1\} \end{equation}\begin{align} P^Y(Y=1) &=P\left((\omega_1,\omega_2)\in\{(2,1),(3,1),\dotsc,(6,5)\}\right)\\ &=15\cdot\frac{1}{36}=\frac{5}{12},\\ P^Y(Y=0) &=P\left((\omega_1,\omega_2)\in\{(1,1),(2,2),\dotsc,(6,6)\}\right)\\ &=6\cdot\frac{1}{36}=\frac{1}{6},\\ P^Y(Y=-1) &=P\left((\omega_1,\omega_2)\in\{(1,2),(1,3),\dotsc,(5,6)\}\right)\\ &=15\cdot\frac{1}{36}=\frac{5}{12} \end{align}
ルーレット回しの確率変数 \(X\)
標本空間,および確率測度は以下のとおり.
\begin{equation} \Omega^X =\{1,0\} \end{equation}\begin{align} P^X(X=1)&=P(\text{\(\omega\)が有理数})=0\\ P^X(X=0)&=P(\text{\(\omega\)が無理数})=1 \end{align}
ルーレット回しの確率変数 \(Y\)
\begin{equation} Y(\omega)=\log\frac{1}{\omega} \end{equation}
について,以下のそれぞれの項目を説明せよ.
同じ確率空間の上の複数の確率変数をまとめて ベクトルと見ることができる
例 : 2次元の値を取る関数
\begin{equation} \boldsymbol{X}(\omega)=(X_1(\omega),X_2(\omega)) \end{equation}を考えると,2次元の確率変数を考えることができる.
これを 2次元確率変数 (2-dimensional random variable) あるいは 2次元の 確率ベクトル (random vector) という.
一般に \(n\) 次元で考えてよい.
標本空間や確率測度も自然に考えることができる
\begin{equation} \Omega^{\boldsymbol{X}}=\boldsymbol{X}(\Omega) \end{equation}\begin{equation} P^{\boldsymbol{X}}(B) =P\{\omega|\;\boldsymbol{X}(\omega)\in B\} =P(\boldsymbol{X}^{-1}(B)),\quad B\subset\Omega^{\boldsymbol{X}} \end{equation}
変換
実数値関数
\begin{align} \phi:\; &\Omega^X\to \mathbb{R}\\ &X\mapsto\phi(X) \end{align}に対して
\begin{equation} Y(\omega)=\phi(X(\omega)) \qquad (Y=\phi\circ X\text{と書くこともある}) \end{equation}とすると \(Y(\omega)\) という新しい実数値確率変数ができる.
二回の骰子振りの確率変数の変換
骰子を二回振ったときの出た目の和を考え, 和が偶数なら100円貰え, 奇数なら50円支払うというゲームを考える. 骰子を二回振ったときの出た目をそれぞれ \(\omega_1, \omega_2\) とする. また,目の和を
\begin{equation} X(\omega_1,\omega_2)=\omega_1+\omega_2 \end{equation}で表すとすると,賞金(罰金) \(Y\) は
\begin{equation} Y(\omega_1,\omega_2)=Y(X)= \begin{cases} 100,& \text{\(X\)が偶数}\\ -50,& \text{\(X\)が奇数} \end{cases} \end{equation}という \(X\) が変換された確率変数である.
標本空間
新しく作られた確率変数 \(Y\) の標本空間は, 変換を順に追って
\begin{equation} \Omega^{Y}=\phi(X(\Omega))=(\phi\circ X)(\Omega) \end{equation}で定義される.
確率測度
\(\Omega^{Y}\) の適当な部分集合 \(C\) に対して, \(\Omega^{X}\) で対応する集合を \(B\) , \(\Omega\) で対応する集合を \(A\) とすると
\begin{align} C&=\phi(B)=\phi(X(A))\\ B&=X(A)=\phi^{-1}(C)\\ A&=X^{-1}(B)=X^{-1}(\phi^{-1}(C)) \end{align}となるので,その確率測度は
\begin{align} P^{Y}(C) &=P^{X}(B)=P(A) % &=P((\phi\circ X)^{-1}(C))\\ =P(X^{-1}(\phi^{-1}(C)))\\ &=P\{\omega|\;\phi(X(\omega))\in C\}\quad C\subset\Omega^{Y} \end{align}で計算される.
定義
標本空間が可算の場合, その確率空間上で定義された 確率変数 \(X\) の 平均値 (期待値) (expectation) は
\begin{equation} \mathbb{E}[X]=\sum_{\omega\in\Omega}X(\omega)P\{\omega\} \end{equation}で定義される.
骰子振りの確率変数
出た目の100倍の値である賞金 \(X\) の平均値(期待値)は, 骰子の目を \(\omega\) で表すことにすれば \(P\{\omega\}=\frac{1}{6}\) なので,
\begin{align} \mathbb{E}[X] &=X(1)\cdot P\{1\} +X(2)\cdot P\{2\} +X(3)\cdot P\{3\}\\ &\qquad +X(4)\cdot P\{4\} +X(5)\cdot P\{5\} +X(6)\cdot P\{6\}\\ &=100\cdot\frac{1}{6} +200\cdot\frac{1}{6} +300\cdot\frac{1}{6} +400\cdot\frac{1}{6} +500\cdot\frac{1}{6} +600\cdot\frac{1}{6}\\ &=350 \end{align}である.
二回の骰子振りの確率変数 \(X\)
出た目の和 \(X\) の平均値は, 二つの目を \(\omega_1,\omega_2\) で表すことにすれば \(P\{(\omega_1,\omega_2)\}=\frac{1}{36}\) なので,
\begin{align} \mathbb{E}[X] &=X(1,1)\cdot P\{(1,1)\} +X(1,2)\cdot P\{(1,2)\} % +X(1,3)\cdot P\{(1,3)\} +\\ &\qquad\dotsb % +X(6,4)\cdot P\{(6,4)\} +X(6,5)\cdot P\{(6,5)\} +X(6,6)\cdot P\{(6,6)\}\\ &=2\cdot\frac{1}{36}+3\cdot\frac{2}{36}+4\cdot\frac{3}{36} +\dotsb+11\cdot\frac{2}{36}+12\cdot\frac{1}{36}\\ &=7 \end{align}である.
二回の骰子振りの確率変数 \(Y\)
二つの目の大小関係で \(\{-1,0,1\}\) の値を取る確率変数 \(Y\) の平均値は
\begin{align} \mathbb{E}[Y] &=Y(1,1)\cdot P\{(1,1)\} +Y(1,2)\cdot P\{(1,2)\} % +Y(1,3)\cdot P\{(1,3)\} +\\ &\qquad\dotsb +Y(6,5)\cdot P\{(6,5)\} +Y(6,6)\cdot P\{(6,6)\}\\ &=1\cdot\frac{15}{36}+0\cdot\frac{6}{36}+(-1)\cdot\frac{15}{36}\\ &=0 \end{align}である.
定義
確率測度 \(P\) に確率密度 \(f\) がある場合, その確率空間上で定義された 確率変数 \(X\) の 平均値 (期待値) (expectation) は
\begin{equation} \mathbb{E}[X] =\int_\Omega X(\omega)P(d\omega) =\int_\Omega X(\omega)f(\omega)d\omega \end{equation}で定義される.
ルーレット回しの確率変数
ルーレットの目盛りが有理数か無理数かで \(\{1,0\}\) の値を取る 確率変数 \(X\) の平均値は
\begin{equation} \mathbb{E}[X] =\int_{0}^{1} X(\omega)\mu(d\omega) =1\cdot\mu(\text{有理数})+0\cdot\mu(\text{無理数})=0 \end{equation}または
\begin{equation} \mathbb{E}[X] =0\cdot P^{X}(X=0)+1\cdot P^{X}(X=1) =0\cdot1+1\cdot0=0 \end{equation}で計算される.
標本空間の制限付平均値
標本空間を \(A\subset\Omega\) に制限した場合の平均値を
\begin{align} \mathbb{E}[X,A] &=\sum_{\omega\in A}X(\omega)P(\omega)\\ \mathbb{E}[X,A] &=\int_A X(\omega)P(d\omega) =\int_A X(\omega)f(\omega)d\omega \end{align}と書くことがある.
確率変数ベクトル
\(\boldsymbol{X}\) がベクトルの場合は各成分ごとに計算すればよい.
\begin{equation} \mathbb{E}[\boldsymbol{X}]=(\mathbb{E}[X_1],\mathbb{E}[X_2],\dotsc,\mathbb{E}[X_n]) \in \mathbb{R}^n \end{equation}
定理
平均値には以下のような性質がある.
- \(\Big.\mathbb{E}[aX+bY]=a\,\mathbb{E}[X]+b\,\mathbb{E}[Y]\) (線形性)
- \(\Big.\mathbb{E}[X,\sum_{i=1}^nA_i]=\sum_{i=1}^n\mathbb{E}[X,A_i]\)
- \(A\) の上で恒等的に確率変数が定数,すなわち \(X(\omega)=a\) ならば
\(\Big.\mathbb{E}[X,A]=a\,P(A)\)
特に \(\Big.\mathbb{E}[a]=a\) (定数の平均値はその定数)
定理
\(X\) の確率分布が考えられ, \(X\) の確率分布が \(P^X\) あるいは密度関数が \(f^X\) で与えられる場合には以下が成り立つ.
- \(\Big.\mathbb{E}[X]=\sum_{x\in\Omega^X}xP^{X}\{x\}\) (\(X\) が離散分布)
\(\Big.\mathbb{E}[X]=\int_{x\in\Omega^X}xf^{X}(x)dx\) (\(X\) が連続分布)- \(\Big.Y(\omega)=\phi(X(\omega))\) ならば
\(\Big.\mathbb{E}[Y]=\sum_{x\in\Omega^X}\phi(x)P^{X}\{x\}\) (\(X\) が離散分布)
\(\Big.\mathbb{E}[Y]=\int_{x\in\Omega^X}\phi(x)f^{X}(x)dx\) (\(X\) が連続分布)
二回の骰子振りの確率変数
出た目の和 \(X\) の平均値は平均の和の関係を用いると
\begin{align} \mathbb{E}[X] &=\mathbb{E}[\omega_1+\omega_2] =\mathbb{E}[\omega_1]+\mathbb{E}[\omega_2] =2\mathbb{E}[\omega_1]\\ &=2\left( 1\cdot\frac{1}{6}+ 2\cdot\frac{1}{6}+ 3\cdot\frac{1}{6}+ 4\cdot\frac{1}{6}+ 5\cdot\frac{1}{6}+ 6\cdot\frac{1}{6} \right)\\ &=7 \end{align}としても求まる.
定義
確率変数 \(X\) の 分散 (variance) は平均値を用いて
\begin{equation} \mathrm{Var}(X)=\mathbb{E}[(X-\mathbb{E}[X])^2] \end{equation}で定義される.
分散の平方根を 標準偏差 (standard deviation) という.
定義
確率変数 \(X,Y\) の 共分散 (covariance) は
\begin{equation} \mathrm{Cov}(X,Y)=\mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])] \end{equation}で定義される.
離散分布に従う場合 :
\begin{align} \mathrm{Var}(X)&=\sum_{x\in\Omega^X}(x-\mathbb{E}[X])^2P^X\{x\}\\ \mathrm{Cov}(X,Y)&=\sum_{x\in\Omega^X, y\in\Omega^Y} (x-\mathbb{E}[X])(y-\mathbb{E}[Y])P^{(X,Y)}\{x,y\} \end{align}
連続分布に従う場合 :
\begin{align} \mathrm{Var}(X)&=\int_{x\in\Omega^X}(x-\mathbb{E}[X])^2f^X(x)dx\\ \mathrm{Cov}(X,Y)&=\int_{x\in\Omega^X, y\in\Omega^Y} (x-\mathbb{E}[X])(y-\mathbb{E}[Y])f^{(X,Y)}(x,y)dxdy \end{align}
二回の骰子振りの確率変数 \(X\)
出た目の和 \(X\) の分散は
\begin{align} &\mathbb{E}[(X-\mathbb{E}[X])^2]\\ &=(2-7)^2\cdot\frac{1}{36}+(3-7)^2\cdot\frac{2}{36}%+(4-7)^2\cdot\frac{1}{12} +\dotsb%+(11-7)^2\cdot\frac{1}{18} +(12-7)^2\cdot\frac{1}{36}\\ &=\frac{35}{6} \end{align}である.
二回の骰子振りの確率変数 \(Y\)
また二つの目の大小関係を表す \(Y\) の分散は
\begin{align} &\mathbb{E}[(Y-\mathbb{E}[Y])^2]\\ &=(1-0)^2\cdot\frac{5}{12}+(0-0)^2\cdot\frac{1}{6} +(-1-0)^2\cdot\frac{5}{12}\\ &=\frac{5}{6} \end{align}である.
ルーレット回しの確率変数 \(X\)
有理数・無理数を区別する \(X\) の分散は
\begin{equation} \mathbb{E}[(X-\mathbb{E}[X])^2] =(1-0)^2\cdot0+(0-0)^2\cdot1=0 \end{equation}である.
定理
分散・共分散には以下の性質がある.
- \(\Big.\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)\) (対称性)
- \(\Big.\mathrm{Cov}(X,a)=0\)
- \(\Big.\mathrm{Cov}(X,X)=\mathrm{Var}(X)\ge0\) (正値性)
- \(\Big.\mathrm{Var}(aX+b)=a^2\,\mathrm{Var}(X)\)
\(\Big.\mathrm{Cov}(aX+b,cY+d)=ac\mathrm{Cov}(X,Y)\)- \(\Big.\mathrm{Var}(aX+bY)=a^2\,\mathrm{Var}(X)+2ab\,\mathrm{Cov}(X,Y)+b^2\,\mathrm{Var}(Y)\)
- \(\Big.\mathrm{Var}(X)=\mathbb{E}[X^2]-(\mathbb{E}[X])^2\)
\(\Big.\mathrm{Cov}(X,Y)=\mathbb{E}[XY]-\mathbb{E}[X]\cdot\mathbb{E}[Y]\)- \(\Big.|\mathrm{Cov}(X,Y)|\le\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)}\)
(Schwarzの不等式の一つの表現)
定義
確率変数 \(X\) の k次モーメント (積率; k-th moment) は,確率変数の \(k\) 乗の平均
\begin{equation} m_k(X)=\mathbb{E}[X^k] \end{equation}で定義される. 分散と同じように平均値を中心として考えた 平均値のまわりのk次モーメント は
\begin{equation} \mu_k(X)=\mathbb{E}[(X-\mathbb{E}[X])^k] \end{equation}で定義される.
絶対モーメント
確率変数の絶対値のk乗のモーメント
\begin{equation} \tilde{m}_k(X)=\mathbb{E}[|X|^k] \end{equation}を k次絶対モーメント と呼ぶことがある.
定義
特性関数 (characteristic function) は指数関数を用いて変数変換された確率変数の平均として
\begin{equation} \phi(z)=\mathbb{E}[e^{izX}] \end{equation}で定義される.
Fourier変換との関係
1次元の連続分布 \(P\) に対して 密度関数 \(f\) が存在すれば
\begin{equation} \phi(z)=\int_{-\infty}^{\infty}e^{izx}f(x)dx \end{equation}となり 確率密度のFourier変換に対応する. 離散分布では
\begin{equation} \phi(z)=\sum_{x\in\Omega}P\{x\}e^{izx}, \end{equation}により計算される.
逆変換の存在
Fourier変換には逆Fourier変換が存在して もとの関数を再構成できるように, 特性関数と確率測度(確率密度)は一対一に対応している (Levy-Havilandの反転公式).
分布の同一性
2つの分布の特性関数が同じであれば, 2つの分布が同じであることが言える. 後に中心極限定理の証明で述べるように 特性関数は確率測度の性質を調べるために重要な働きをする.