確率分布を推定する
(Press ? for help, n and p for next and previous slide)
村田 昇
2020.06.19
定義
点推定とは \(\mathcal{L}\) に含まれるパラメタ \(\theta\) を \(X_1,\dotsc,X_n\) の関数
\begin{equation} \hat{\theta}=\hat{\theta}(X_1,\dots,X_n) \end{equation}で推定することで， \(\hat{\theta}\) を \(\theta\) の 推定量 と呼ぶ．
記述統計量は分布のパラメタの1つ
例: \(\mathcal{L}\) の平均 \(\mu\) を 標本平均 \(\bar{X}=\frac{1}{n}\sum_{i=1}^nX_i\) によって 推定することが点推定であり, \(\bar{X}\) は \(\mu\) の推定量となる．
推定量の良さの代表的な基準: 不偏性・一致性
\(\hat{\theta}\) が \(\theta\) の不偏推定量:
\(\hat{\theta}\) が \(\theta\) の(強)一致推定量:
例: 標本平均, 不偏分散はそれぞれ \(\mathcal{L}\) の平均, 分散の不偏かつ一致性をもつ推定量
一般に不偏推定量も複数存在
例: \(\mathcal{L}\) の平均 \(\mu\) の不偏推定量:
- 標本平均 \(\bar{X}\)
- \(X_1\)
- \(X_1,\dots,X_n\) のメディアン ( \(\mathcal{L}\) が \(x=\mu\) に関して対称な場合)
一様最小分散不偏推定量:
\(\theta\) の任意の不偏推定量 \(\hat{\theta}'\) に対して推定値のばらつき(分散)が最も小さいもの
\begin{equation} \mathrm{Var}(\hat{\theta})\le\mathrm{Var}(\hat{\theta}') \end{equation}
定理
\(\mathcal{L}\) は1次元パラメタ \(\theta\) を含む連続分布とし， その確率密度関数 \(f_\theta(x)\) は \(\theta\) に関して 偏微分可能であるとする． このとき，緩やかな仮定の下で， \(\theta\) の任意の不偏推定量 \(\hat{\theta}\) に対して 以下の不等式が成り立つ:
\begin{equation}%\label{cr-bound} \mathrm{Var}(\hat{\theta})\ge \frac{1}{nI(\theta)}. \end{equation}ただし
\begin{equation} I(\theta)=\int_{-\infty}^\infty \left(\frac{\partial}{\partial\theta}\log f_\theta(x)\right)^2 f_\theta(x)dx. \end{equation}
定理 (Cramer-Raoの不等式の系)
\(\theta\) の不偏推定量 \(\hat{\theta}\) で 分散がCramer-Rao下界 \(1/(nI(\theta))\) に一致するものが存在すれば， それは一様最小分散不偏推定量となる．
平均パラメタ \(\mu\) に関するFisher情報量:
ヒント: 以下のような関数を作り，Monte-Carlo実験を行えばよい
myMeanEst <- function(n, min, max){ # 観測データ数
x <- runif(n, min=min, max=max) # 一様乱数を生成，範囲は引数から
return(c(xbar=mean(x),med=median(x),mid=(max(x)+min(x))/2))
} # 3つまとめて計算する関数
独立な確率変数の同時確率:
定義
パラメタ \(\boldsymbol{\theta}\) に対して 観測データ \(X_1,X_2,\dots,X_n\) が得られる理論上の確率
\begin{equation} L(\boldsymbol{\theta}) :=\prod_{i=1}^nf_{\boldsymbol{\theta}}(X_i) \end{equation}を \(\boldsymbol{\theta}\) の 尤度 と言い， \(\boldsymbol{\theta}\) の関数 \(L\) を 尤度関数 と呼ぶ．
最尤法:
観測データに対して「最も尤もらしい」パラメタ値 を \(\boldsymbol{\theta}\) の推定量として採用する方法 を最尤法という．
最尤推定量:
\(\Theta\) を尤度関数の定義域として， 尤度関数を最大とする \(\hat{\boldsymbol{\theta}}\)
\begin{equation} L(\hat{\boldsymbol{\theta}}) =\max_{\boldsymbol{\theta}\in\Theta}L(\boldsymbol{\theta}). \end{equation}を \(\boldsymbol{\theta}\) の 最尤推定量 という．
以下のように表現することもある．
\begin{equation} \hat{\boldsymbol{\theta}} =\arg\max_{\boldsymbol{\theta}\in\Theta}L(\boldsymbol{\theta}). \end{equation}
対数尤度関数:
最尤推定量の性質
広い範囲の確率分布に対して最尤推定量は 一致性 を持つ
尤度関数:
対数尤度関数:
対数尤度関数 (未知パラメタ: \(\lambda\) )
\(\ell(\lambda)\) の微分:
\(\lambda\) の最尤推定量:
対数尤度関数 (未知パラメタ: \(\lambda\) )
\(\ell(\lambda)\) の微分:
\(\lambda\) の最尤推定量:
対数尤度関数 (未知パラメタ: \(\nu,\alpha\) )
Rでの計算例 (ガンマ分布の最尤推定量の例)
library(stats4) # 関数mleを利用するため
## 数値最適化のためには尤度関数を最初に評価する初期値が必要
mle.gamma <- function(x, # 観測データ
nu0=1, alpha0=1){ # nu, alphaの初期値
## 負の対数尤度関数を定義 (最小化を考えるため)
ll <- function(nu, alpha) # nuとalphaの関数として定義
suppressWarnings(-sum(dgamma(x, nu, alpha, log=TRUE)))
## suppressWarnings は定義域外で評価された際の警告を表示させない
## 最尤推定(負の尤度の最小化)
est <- mle(minuslogl=ll, # 負の対数尤度関数
start=list(nu=nu0, alpha=alpha0), # 初期値
method="BFGS", # 最適化方法 (選択可能)
nobs=length(x)) # 観測データ数
return(coef(est)) # 推定値のみ返す
}
東京都の気候データ (tokyo_weather.csv) の
風速の項目について以下の問に答えよ．
myData <- read.csv("data/tokyo_weather.csv", fileEncoding="utf8")
“誤差 \(\hat{\theta}-\theta\) が
区間 \([l,u]\) の内側にある確率が \(1{-}\alpha\) 以上 ”
(“外側にある確率が \(\alpha\) 以下” と言い換えてもよい)
“ \(\theta\) が含まれる確率が \(1{-}\alpha\) 以上となるような区間 \([\hat{\theta}-u,\hat{\theta}-l]\) を推定”
定義
区間推定とは 未知パラメタ \(\theta\) とある値 \(\alpha\in(0,1)\) に対して 以下を満たす確率変数 \(L,U\) を観測データから求めることをいう．
\begin{equation} P(L\le\theta\le U)\ge 1{-}\alpha \end{equation}
最も推定精度の良い \(1{-}\alpha\) 信頼区間 \([L,U]\)
一般の場合
\(Z_1,Z_2,\dots,Z_k\) を独立な確率変数列とし， 各 \(i=1,2,\dots,k\) に対して \(Z_i\) は平均 \(\mu_i\) ， 分散 \(\sigma_i^2\) の正規分布に従うとする． このとき \(a_0,a_1,\dots,a_k\) を \((k+1)\) 個の0でない実数とすると， \(a_0+\sum_{i=1}^ka_iZ_i\) は 平均 \(a_0+\sum_{i=1}^ka_i\mu_i\) ， 分散 \(\sum_{i=1}^ka_i^2\sigma_i^2\) の正規分布に従う．
同分布の場合
\(k=n\), \(\mu_i=\mu\), \(\sigma_i^2=\sigma^2\), \(a_0=0\), \(a_i=1/n\;(i=1,\dots,n)\)
\begin{equation} \bar{X}=\frac{1}{n}\sum_{i=1}^nX_i \quad\text{(標本平均)} \end{equation}は平均 \(\mu\) , 分散 \(\sigma^2/n\) の正規分布に従う．
同分布を標準化した場合
\(k=1\) , \(\mu_1=\mu\) , \(\sigma_1^2=\sigma^2/n\) , \(a_0=-\sqrt{n}\mu/\sigma\) , \(a_1=\sqrt{n}/\sigma\)
\begin{equation} Z=\frac{\sqrt{n}(\bar{X}-\mu)}{\sigma} \end{equation}は標準正規分布に従う．
標準化した確率変数の確率
\(z_{1{-}\alpha/2}\) を標準正規分布の \(1{-}\alpha/2\) 分位点とすれば
\begin{equation} P\Bigl(-z_{1{-}\alpha/2}\le\frac{\sqrt{n}(\bar{X}-\mu)}{\sigma} \le z_{1{-}\alpha/2}\Bigr)=1{-}\alpha \end{equation}
信頼区間の構成
\(\mu\) について解くと
\begin{equation} P\left(\bar{X}-z_{1{-}\alpha/2}\cdot\frac{\sigma}{\sqrt{n}}\le\mu \le\bar{X}+z_{1{-}\alpha/2}\cdot\frac{\sigma}{\sqrt{n}}\right)=1{-}\alpha \end{equation}となるので， \(\sigma\) が既知の場合の平均 \(\mu\) の \(1{-}\alpha\) 信頼区間 は 以下で構成される．
\begin{equation} \left[\bar{X}-z_{1{-}\alpha/2}\cdot\frac{\sigma}{\sqrt{n}},\; \bar{X}+z_{1{-}\alpha/2}\cdot\frac{\sigma}{\sqrt{n}}\right] \end{equation}
\(Z\) を標準正規分布に従う確率変数， \(Y\) を自由度 \(k\) の \(\chi^2\) 分布に従う確率変数とし， \(Z,Y\) は独立であるとする． このとき確率変数
は自由度 \(k\) の \(t\) 分布に従う
標本平均と不偏分散の性質
\(X_1,X_2,\dots,X_n\) は独立同分布な確率変数列で， 平均 \(\mu\) ，分散 \(\sigma^2\) の正規分布に従うとする． 不偏分散を
\begin{equation} s^2=\frac{1}{n{-}1}\sum_{i=1}^n(X_i-\bar{X})^2 \end{equation}とすると， \(\bar{X}\) と \(s^2\) は独立であり， 確率変数 \((n{-}1)s^2/\sigma^2\) は自由度 \(n{-}1\) の \(\chi^2\) 分布に従う．
標準化した確率変数の性質
前の命題と \(\sqrt{n}(\bar{X}-\mu)/\sigma\) が標準正規分布に従うこ とから， 確率変数
\begin{equation} T= \frac{\sqrt{n}(\bar{X}-\mu)}{s} =\frac{\sqrt{n}(\bar{X}-\mu)/\sigma} {\sqrt{(n{-}1)s^2/\sigma^2\big/(n{-}1)}} % =\frac{\sqrt{n}(\bar{X}-\mu)/\sigma} % {\sqrt{\frac{(n{-}1)s^2}{\sigma^2}\Big/(n{-}1)}} \end{equation}は自由度 \(n{-}1\) の \(t\) 分布に従う．
信頼区間の構成
\(t_{1{-}\alpha/2}(n{-}1)\) を自由度 \(n{-}1\) の \(t\) 分布の \(1{-}\alpha/2\) 分位点とすれば
\begin{equation} P\left(-t_{1{-}\alpha/2}(n{-}1)\le\frac{\sqrt{n}(\bar{X}-\mu)}{s} \le t_{1{-}\alpha/2}(n{-}1)\right)=1{-}\alpha \end{equation}となるので， 分散が未知の場合の平均 \(\mu\) の \(1{-}\alpha\) 信頼区間 は 以下で構成される．
\begin{equation} \left[\bar{X}-t_{1{-}\alpha/2}(n{-}1)\cdot\frac{s}{\sqrt{n}},\; \bar{X}+t_{1{-}\alpha/2}(n{-}1)\cdot\frac{s}{\sqrt{n}}\right] \end{equation}
不偏分散の性質
\((n{-}1)s^2/\sigma^2\) は自由度 \(n{-}1\) の \(\chi^2\) 分布に従う
不偏分散の確率
\(\chi^2_{\alpha/2}(n{-}1)\) , \(\chi^2_{1{-}\alpha/2}(n{-}1)\) を それぞれ自由度 \(n{-}1\) の \(\chi^2\) 分布の \(\alpha/2, 1{-}\alpha/2\) 分位点とすれば
\begin{equation} P\left(\chi^2_{\alpha/2}(n{-}1)\le\frac{(n{-}1)s^2}{\sigma^2} \le\chi^2_{1{-}\alpha/2}(n{-}1)\right) =1{-}\alpha \end{equation}
信頼区間の構成
\(\sigma^2\) について解くと
\begin{equation} P\left(\frac{(n{-}1)s^2}{\chi^2_{1{-}\alpha/2}(n{-}1)} \le\sigma^2\le\frac{(n{-}1)s^2}{\chi^2_{\alpha/2}(n{-}1)}\right) =1{-}\alpha \end{equation}となるので， \(\sigma^2\) の \(1{-}\alpha\) 信頼区間 は以下で構成される．
\begin{equation} \left[\frac{(n{-}1)s^2}{\chi^2_{1{-}\alpha/2}(n{-}1)}, \frac{(n{-}1)s^2}{\chi^2_{\alpha/2}(n{-}1)}\right] \end{equation}
漸近正規性
多くの推定量 \(\hat{\theta}\) の分布は正規分布で近似できる
定理
確率分布 \(\mathcal{L}\) が2次のモーメントを持てば， \(\mathcal{L}\) の平均 \(\mu\) の推定量である標本平均 は漸近正規性をもつ．
\begin{equation} \bar{X}=\frac{1}{n}\sum_{i=1}^nX_i \end{equation}\(\mathcal{L}\) の標準偏差を \(\sigma\) とすれば, 任意の \(a\le b\) に対して以下が成立する． (\(\phi\) は標準正規分布の確率密度関数)
\begin{equation} P\left(a\le\frac{\sqrt{n}(\bar{X}-\mu)}{\sigma} \le b\right)\to\int_a^b\phi(x)dx\quad(n\to\infty) \end{equation}
標本平均の確率
\(z_{1{-}\alpha/2}\) を標準正規分布の \(1{-}\alpha/2\) 分位点とすれば
\begin{equation} P\left(-z_{1{-}\alpha/2}\le\frac{\sqrt{n}(\bar{X}-\mu)}{\sigma} \le z_{1{-}\alpha/2}\right)\to1{-}\alpha\quad(n\to\infty) \end{equation}となるので， \(\mu\) について解くと以下が成り立つ．
\begin{multline} P\left(\bar{X}-z_{1{-}\alpha/2}\cdot\frac{\sigma}{\sqrt{n}} \le\mu \le\bar{X}+z_{1{-}\alpha/2}\cdot\frac{\sigma}{\sqrt{n}}\right)\\ \to1{-}\alpha\quad(n\to\infty) \end{multline}
信頼区間の構成
\(\sigma\) が既知の場合の平均 \(\mu\) の \(1{-}\alpha\) 信頼区間 は以下で構成される．
\begin{equation} \left[\bar{X}-z_{1{-}\alpha/2}\cdot\frac{\sigma}{\sqrt{n}},\; \bar{X}+z_{1{-}\alpha/2}\cdot\frac{\sigma}{\sqrt{n}}\right] \end{equation}(サンプル数 \(n\) が十分大きい場合に近似的に正しい)
\(\hat{\sigma}\) としては例えば不偏分散の平方根を用いる
信頼区間の構成
\(\sigma\) が未知の場合の平均 \(\mu\) の \(1{-}\alpha\) 信頼区間 は以下で構成される．
\begin{equation} \left[\bar{X}-z_{1{-}\alpha/2}\cdot\frac{\hat{\sigma}}{\sqrt{n}},\; \bar{X}+z_{1{-}\alpha/2}\cdot\frac{\hat{\sigma}}{\sqrt{n}}\right] \end{equation}(サンプル数 \(n\) が十分大きい場合に近似的に正しい)
定理 (最尤推定量の漸近正規性)
\(\mathcal{L}\) が1次元パラメタ \(\theta\) を含む連続分布とするとき， 最尤推定量 \(\hat\theta\) は 平均 \(\theta\) (真の値)， 分散 \(1/(nI(\hat\theta))\) の正規分布で近似できる．
信頼区間の構成
\(\theta\) の \(1{-}\alpha\) 信頼区間 は以下で構成される．
\begin{equation} \left[\hat{\theta}-z_{1{-}\alpha/2}\cdot\frac{1}{\sqrt{nI(\hat\theta)}},\; \hat{\theta}+z_{1{-}\alpha/2}\cdot\frac{1}{\sqrt{nI(\hat\theta)}}\right] \end{equation}(サンプル数 \(n\) が十分大きい場合に近似的に正しい)
tokyo_weather.csv) の
日射量の項目について以下の問に答えよ．