確率・統計 - 第8講
(Press ? for help, n and p for next and previous slide)
村田 昇
確率
ある決まった確率法則のもとで， 確率変数がどのような性質を持つか論じる
統計
ある確率法則に従うと考えられる確率変数の実現値を観測して， それを生成する確率法則について何らかの推測を行う
推定量
未知の母数(パラメタ)を推定する方法．
\begin{equation} \hat\theta=\hat\theta(X_{1},X_{2},\dotsc,X_{n}) \end{equation}
推定値
\(X_{1}=x_{1},X_{2}=x_{2},\dotsc,X_{n}=x_{n}\) という観測値が得られたとき， 推定量に代入して得られる値．
\begin{equation} \hat\theta=\hat\theta(x_{1},x_{2},\dotsc,x_{n}) \end{equation}
不偏性
推定量の平均 が真の母数 \(\theta\) に一致すること．
\begin{equation} \mathbb{E}[\hat\theta] =\theta \end{equation}
不偏推定量は複数存在
例: 平均の不偏推定量:
- 標本平均 \(\bar{X}\)
- \(X_{n}\)
- \(X_1,\dots,X_n\) の中央値 (分布が対称な場合)
一般に推定量の分散を用いて良さを評価
良い不偏推定量 \(\hat\theta\) とは 任意の不偏推定量 \(\hat{\theta}'\) に対して推定値のばらつき(分散)が最も小さいもの
\begin{equation} \mathrm{Var}(\hat{\theta})\le\mathrm{Var}(\hat{\theta}') \end{equation}
定理
\(X_{1},X_{2},\dotsc,X_{n}\) が互いに独立に同じ分布に従い， \(\hat\theta=\hat\theta(X_{1},X_{2},\dotsc,X_{n})\) を母数 \(\theta\) の一つの不偏推定量とすると， \(X_{1},X_{2},\dotsc,X_{n}\) の対称な関数として表される 不偏推定量 \(\hat\theta^{*}\) で，つねに
\begin{equation} \mathrm{Var}(\hat\theta^{*})\le \mathrm{Var}(\hat\theta) \end{equation}となるものが存在する．
定義
母数 \(\theta\) を \(X_1,\dotsc,X_n\) の関数
\begin{equation} \hat{\theta}=\hat{\theta}(X_1,\dots,X_n) \end{equation}で推定すること．
平均や分散は分布の母数の1つ
- 平均 \(\mu\) を 標本平均 \(\bar{X}=\frac{1}{n}\sum_{i=1}^nX_i\) によって 推定することが点推定であり, \(\bar{X}\) は \(\mu\) の推定量 \(\hat{\mu}\) となる．
- 分散 \(\sigma^{2}\) を 不偏分散 \(s^{2}=\frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\bar{X})^{2}\) によって 推定することが点推定であり, \(s^{2}\) は \(\sigma^{2}\) の推定量 \(\hat{\sigma^{2}}\) となる．
定義
\(\theta\) の任意の不偏推定量 \(\hat{\theta}'\) に対して推定量の分散が最も小さいもの
\begin{equation} \mathrm{Var}(\hat{\theta})\le\mathrm{Var}(\hat{\theta}') \end{equation}が存在すれば，それを 一様最小分散不偏推定量 という．
定理
1次元母数 \(\theta\) を含む連続分布を考え， その確率密度関数 \(f_\theta(x)\) は \(\theta\) に関して 偏微分可能であるとする． このとき，緩やかな仮定の下で， \(\theta\) の任意の不偏推定量 \(\hat{\theta}\) に対して 以下の不等式が成り立つ．
\begin{equation} \mathrm{Var}(\hat{\theta})\ge \frac{1}{nI(\theta)}, \end{equation}\begin{equation} I(\theta)=\int_{-\infty}^\infty \left(\frac{\partial}{\partial\theta}\log f_\theta(x)\right)^2 f_\theta(x)dx. \end{equation}
定理 (Cramér-Raoの不等式の系)
\(\theta\) の不偏推定量 \(\hat{\theta}\) で， 分散が Cramér-Rao 下界に一致するものが存在すれば， それは一様最小分散不偏推定量となる．
上記の正規分布の平均 \(\theta\) に関する Fisher 情報量を求めよ．
\begin{equation} f_{\theta}(x) = \frac{1}{\sqrt{2\pi\sigma^{2}}}e^{-\frac{(x-\theta)^{2}}{2\sigma^{2}}} \end{equation}
加法的雑音モデル
\begin{equation} \begin{array}{c@{}c@{}c@{}c@{}cl} X_{i}&=&\theta&+&\varepsilon_{i},&i=1,\dotsc,n\\ \text{(確率変数)}&&\text{(未知母数)}&& \text{(誤差)} \end{array} \end{equation}
誤差の仮定
- \(\varepsilon_{1},\dotsc,\varepsilon_{n}\) は 互いに独立に分布する．
- \(\varepsilon_{1},\dotsc,\varepsilon_{n}\) は 同じ分布に従う．
- \(\mathbb{E}[\varepsilon_{i}]=0,\ i=1,\dotsc,n\)
- \(\mathbb{E}[\varepsilon_{i}^{2}]<\infty,\ i=1,\dotsc,n\)
以下の仮定を加える
- \(\varepsilon_{1},\dotsc,\varepsilon_{n}\) は平均0，分散 \(\sigma^{2}\) の正規分布に従う．
観測値の分布が議論できる
このとき \(X\) は平均 \(\theta\) ，分散 \(\sigma^{2}\) の 正規分布に従う．
\begin{equation} f_{\theta}(x) = \frac{1}{\sqrt{2\pi\sigma^{2}}}e^{-\frac{(x-\theta)^{2}}{2\sigma^{2}}} \end{equation}
平均母数 \(\theta\) に関する Fisher 情報量 :
“誤差 \(\hat{\theta}-\theta\) が
区間 \([l,u]\) の内側にある確率が \(1{-}\alpha\) 以上 ”
(“外側にある確率が \(\alpha\) 以下” と言い換えてもよい)
\begin{equation} P(l\le\hat{\theta}-\theta\le u)\ge 1{-}\alpha \end{equation}
“ \(\theta\) が含まれる確率が \(1{-}\alpha\) 以上となるような区間 \([\hat{\theta}-u,\hat{\theta}-l]\) を推定”
\begin{equation} P(\hat{\theta}-u\le\theta\le \hat{\theta}-l)\ge 1{-}\alpha \end{equation}
定義
未知母数 \(\theta\) とある値 \(\alpha\in(0,1)\) に対して 以下を満たす確率変数 \(L,U\) を観測データから求めること．
\begin{equation} P(L\le\theta\le U)\ge 1{-}\alpha \end{equation}
最も推定精度の良い \(1{-}\alpha\) 信頼区間 \([L,U]\)
\begin{equation} P(L\le\theta\le U)=1{-}\alpha \end{equation}
確率変数 \(X,Y\) は独立で， それぞれ 平均 \(\mu_{1},\mu_{2}\) ， 分散 \(\sigma_{1}^{2},\sigma_{2}^{2}\) の 正規分布に従うとする． このとき \(a,b\) を実数として新しい確率変数 \(Z\) を
\begin{equation} Z=aX+bY \end{equation}
で定義するとき， \(Z\) の平均と分散を求めよ．
一般の場合
\(Z_1,Z_2,\dots,Z_k\) を独立な確率変数列とし， 各 \(i=1,2,\dots,k\) に対して \(Z_i\) は平均 \(\mu_i\) ， 分散 \(\sigma_i^2\) の正規分布に従うとする．
このとき \(a_0,a_1,\dots,a_k\) を \((k+1)\) 個の0でない実数とすると，
\begin{equation} a_0+\sum_{i=1}^ka_iZ_i \end{equation}は 平均 \(a_0+\sum_{i=1}^ka_i\mu_i\) ， 分散 \(\sum_{i=1}^ka_i^2\sigma_i^2\) の正規分布に従う．
同分布の場合
\(k=n\), \(\mu_i=\mu\), \(\sigma_i^2=\sigma^2\), \(a_0=0\), \(a_i=1/n\;(i=1,\dots,n)\)
\begin{equation} \bar{X}=\frac{1}{n}\sum_{i=1}^nX_i \quad\text{(標本平均)} \end{equation}は平均 \(\mu\) , 分散 \(\sigma^2/n\) の正規分布に従う．
同分布を標準化した場合
\(k=1\) , \(\mu_1=\mu\) , \(\sigma_1^2=\sigma^2/n\) , \(a_0=-\sqrt{n}\mu/\sigma\) , \(a_1=\sqrt{n}/\sigma\)
\begin{equation} Z=\frac{\sqrt{n}(\bar{X}-\mu)}{\sigma} \end{equation}は標準正規分布に従う．
標準化した確率変数の確率
\(z_{1{-}\alpha/2}\) を標準正規分布の \(1{-}\alpha/2\) 分位点とすれば
\begin{equation} P\Bigl(-z_{1{-}\alpha/2}\le\frac{\sqrt{n}(\bar{X}-\mu)}{\sigma} \le z_{1{-}\alpha/2}\Bigr)=1{-}\alpha \end{equation}
確率密度 \(f\) の \(\alpha\) 分位点 \(z_{\alpha}\) (\(0 < \alpha < 1\))
\begin{equation} \int_{-\infty}^{z_{\alpha}}f(x)dx=\alpha \end{equation}
標準正規分布の分位点の性質 (確率密度の対称性より)
\begin{equation} z_{\alpha}=-z_{1-\alpha} \end{equation}
信頼区間の構成
\(\mu\) について解くと
\begin{equation} P\left(\bar{X}-z_{1{-}\alpha/2}\cdot\frac{\sigma}{\sqrt{n}}\le\mu \le\bar{X}+z_{1{-}\alpha/2}\cdot\frac{\sigma}{\sqrt{n}}\right)=1{-}\alpha \end{equation}となるので， \(\sigma\) が既知の場合の平均 \(\mu\) の \(1{-}\alpha\) 信頼区間は 以下で構成される．
\begin{equation} \left[\bar{X}-z_{1{-}\alpha/2}\cdot\frac{\sigma}{\sqrt{n}},\; \bar{X}+z_{1{-}\alpha/2}\cdot\frac{\sigma}{\sqrt{n}}\right] \end{equation}
\(Z\) を標準正規分布に従う確率変数， \(Y\) を自由度 \(k\) の \(\chi^2\) 分布に従う確率変数とし， \(Z,Y\) は独立であるとする． このとき確率変数
は自由度 \(k\) の \(t\) 分布に従う
命題 (標本平均と不偏分散の関係)
\(X_1,X_2,\dots,X_n\) は独立同分布な確率変数列で， 平均 \(\mu\) ，分散 \(\sigma^2\) の正規分布に従うとする． 不偏分散を
\begin{equation} s^2=\frac{1}{n{-}1}\sum_{i=1}^n(X_i-\bar{X})^2 \end{equation}とすると， \(\bar{X}\) と \(s^2\) は独立であり， 確率変数 \((n{-}1)s^2/\sigma^2\) は自由度 \(n{-}1\) の \(\chi^2\) 分布に従う．
標準化した確率変数の性質
前の命題と \(\sqrt{n}(\bar{X}-\mu)/\sigma\) が標準正規分布に従うこ とから， 確率変数
\begin{equation} T= \frac{\sqrt{n}(\bar{X}-\mu)}{s} =\frac{\sqrt{n}(\bar{X}-\mu)/\sigma} {\sqrt{(n{-}1)s^2/\sigma^2\big/(n{-}1)}} % =\frac{\sqrt{n}(\bar{X}-\mu)/\sigma} % {\sqrt{\frac{(n{-}1)s^2}{\sigma^2}\Big/(n{-}1)}} \end{equation}は自由度 \(n{-}1\) の \(t\) 分布に従う．
信頼区間の構成
\(t_{1{-}\alpha/2}(n{-}1)\) を自由度 \(n{-}1\) の \(t\) 分布の \(1{-}\alpha/2\) 分位点とすれば
\begin{equation} P\left(-t_{1{-}\alpha/2}(n{-}1)\le\frac{\sqrt{n}(\bar{X}-\mu)}{s} \le t_{1{-}\alpha/2}(n{-}1)\right)=1{-}\alpha \end{equation}となるので， 分散が未知の場合の平均 \(\mu\) の \(1{-}\alpha\) 信頼区間は 以下で構成される．
\begin{equation} \left[\bar{X}-t_{1{-}\alpha/2}(n{-}1)\cdot\frac{s}{\sqrt{n}},\; \bar{X}+t_{1{-}\alpha/2}(n{-}1)\cdot\frac{s}{\sqrt{n}}\right] \end{equation}