回帰分析の復習

線形回帰モデル

• 目的変数 を 説明変数 で説明する関係式を構成

  • 説明変数: \(x_1,\dotsc,x_p\) (p次元)
  • 目的変数: \(y\) (1次元)

• 回帰係数 \(\beta_0,\beta_1,\dotsc,\beta_p\) を用いた一次式

  \[\begin{equation} y=\beta_0+\beta_1x_1+\dotsb+\beta_px_p \end{equation}\]

• 誤差項 を含む確率モデルで観測データを表現

  \[\begin{equation} y_i=\beta_0+\beta_1 x_{i1}+\cdots+\beta_px_{ip}+\epsilon_i \quad (i=1,\dotsc,n) \end{equation}\]

問題設定

• 確率モデル

  \[\begin{equation} \boldsymbol{y} =X\boldsymbol{\beta}+\boldsymbol{\epsilon}, \quad\boldsymbol{\epsilon}\sim\text{確率分布} \end{equation}\]

• 式の評価 : 残差平方和 の最小化による推定

  \[\begin{equation} S(\boldsymbol{\beta}) =(\boldsymbol{y}-X\boldsymbol{\beta})^{\mathsf{T}} (\boldsymbol{y}-X\boldsymbol{\beta}) \end{equation}\]

解とその一意性

• 解の条件 : 正規方程式

  \[\begin{equation} X^{\mathsf{T}}X\boldsymbol{\beta} =X^{\mathsf{T}}\boldsymbol{y} \end{equation}\]

• 解の一意性 : Gram 行列 \(X^{\mathsf{T}}X\) が正則

  \[\begin{equation} \hat{\boldsymbol{\beta}} = (X^{\mathsf{T}}X)^{-1} X^{\mathsf{T}}\boldsymbol{y} \end{equation}\]

解析の事例

気温に影響を与える要因の分析

• 気象庁より取得した東京の気候データ (再掲)
  • 気象庁 https://www.data.jma.go.jp/gmd/risk/obsdl/index.php

回帰モデルによる予測

予測

• 新しいデータ (説明変数) \(\boldsymbol{x}\) に対する 予測値

  \[\begin{equation} \hat{y} = (1,\boldsymbol{x}^{\mathsf{T}})\hat{\boldsymbol{\beta}}, \qquad \hat{\boldsymbol{\beta}} = (X^{\mathsf{T}}X)^{-1} X^{\mathsf{T}}\boldsymbol{y} \end{equation}\]

• 予測値は元データの目的変数の重み付け線形和

  \[\begin{equation} \hat{y} = \boldsymbol{w}(\boldsymbol{x})^{\mathsf{T}}\boldsymbol{y}, \qquad \boldsymbol{w}(\boldsymbol{x})^{\mathsf{T}} = (1,\boldsymbol{x}^{\mathsf{T}}) (X^{\mathsf{T}}X)^{-1} X^{\mathsf{T}} \end{equation}\]

  • 重みは元データと新規データの説明変数で決定

予測値の性質

• 推定量は以下の性質をもつ多変量正規分布

  \[\begin{align} \mathbb{E}[\hat{\boldsymbol{\beta}}] &=\boldsymbol{\beta}\\ \mathrm{Cov}(\hat{\boldsymbol{\beta}}) &=\sigma^{2}(X^{\mathsf{T}}X)^{-1} \end{align}\]

• この性質を利用して以下の3つの値の違いを評価

  \[\begin{align} y&=(1,\boldsymbol{x}^{\mathsf{T}})\boldsymbol{\beta}+\epsilon &&\text{(観測値)}\\ \tilde{y}&=(1,\boldsymbol{x}^{\mathsf{T}})\boldsymbol{\beta} &&\text{(最適な予測値)}\\ \hat{y}&=(1,\boldsymbol{x}^{\mathsf{T}})\hat{\boldsymbol{\beta}} &&\text{(回帰式による予測値)} \end{align}\]

  • \(\hat{y}\) と \(y\) は独立な正規分布に従うことに注意

演習

問題

• 誤差が平均0 分散 \(\sigma^{2}\) の正規分布に従うとき， 以下の問に答えよ
  • 予測値 \(\hat{y}\) の平均を求めよ
  • 予測値 \(\hat{y}\) の分散を求めよ

信頼区間

最適な予測値との差

• 差の分布は以下の平均・分散をもつ正規分布に従う

  \[\begin{align} \mathbb{E}[\tilde{y}-\hat{y}] &=(1,\boldsymbol{x}^{\mathsf{T}})\boldsymbol{\beta} -(1,\boldsymbol{x}^{\mathsf{T}})\mathbb{E}[\hat{\boldsymbol{\beta}}] =0\\ \mathrm{Var}(\tilde{y}-\hat{y}) &=\underbrace{\sigma^{2}(1,\boldsymbol{x}^{\mathsf{T}})(X^{\mathsf{T}}X)^{-1} (1,\boldsymbol{x}^{\mathsf{T}})^{\mathsf{T}}}_{\text{\(\hat{\boldsymbol{\beta}}\)の推定誤差による分散}} =\sigma^{2}\gamma_{c}(\boldsymbol{x})^{2} \end{align}\]

• 標準化による表現

  \[\begin{equation} \frac{\tilde{y}-\hat{y}}{\sigma\gamma_{c}(\boldsymbol{x})} \sim \mathcal{N}(0,1) \end{equation}\]

信頼区間

• 未知の分散を不偏分散で推定

  \[\begin{equation} Z= \frac{\tilde{y}-\hat{y}}{\hat{\sigma}\gamma_{c}(\boldsymbol{x})} \sim \mathcal{T}(n{-}p{-}1) \quad (\text{\(t\)分布}) \end{equation}\]

• 確率 \(\alpha\) の信頼区間

  \[\begin{equation} \mathcal{I}^{c}_{\alpha} = \left( \hat{y}-C_{\alpha}\hat{\sigma}\gamma_{c}(\boldsymbol{x}),\; \hat{y}+C_{\alpha}\hat{\sigma}\gamma_{c}(\boldsymbol{x}) \right) \end{equation}\]

  \[\begin{equation} P(|Z| < {C_{\alpha}} | Z\sim\mathcal{T}(n{-}p{-}1)) =\alpha \end{equation}\]

  • 最適な予測値 \(\tilde{y}\) が入ることが期待される区間

演習

問題

• 以下の問に答えなさい

  • 信頼区間について以下の式が成り立つことを示せ

    \[\begin{equation} P(\tilde{y}\in\mathcal{I}^{c}_{\alpha}) =\alpha \end{equation}\]

  • 観測値と予測値の差 \(y-\hat{y}\) の平均と分散を求めよ

予測区間

観測値との差

• 差の分布は以下の平均・分散をもつ正規分布に従う

  \[\begin{align} \mathbb{E}[y-\hat{y}] &=(1,\boldsymbol{x}^{\mathsf{T}})\boldsymbol{\beta} +\mathbb{E}[\boldsymbol{\epsilon}] -(1,\boldsymbol{x}^{\mathsf{T}}) \mathbb{E}[\hat{\boldsymbol{\beta}}] =0\\ \mathrm{Var}(y-\hat{y}) &=\underbrace{\sigma^{2} (1,\boldsymbol{x}^{\mathsf{T}})(X^{\mathsf{T}}X)^{-1} (1,\boldsymbol{x}^{\mathsf{T}})^{\mathsf{T}} }_{\text{\(\hat{\boldsymbol{\beta}}\)の推定誤差による分散}} +\underbrace{\sigma^{2}}_{\text{誤差の分散}} =\sigma^{2}\gamma_{p}(\boldsymbol{x})^{2} \end{align}\]

• 標準化による表現

  \[\begin{equation} \frac{y-\hat{y}}{\sigma\gamma_{p}(\boldsymbol{x})} \sim \mathcal{N}(0,1) \end{equation}\]

予測区間

• 未知の分散を不偏分散で推定

  \[\begin{equation} Z= \frac{y-\hat{y}}{\hat{\sigma}\gamma_{p}(\boldsymbol{x})} \sim \mathcal{T}(n{-}p{-}1) \quad (\text{\(t\)分布}) \end{equation}\]

• 確率 \(\alpha\) の予測区間

  \[\begin{equation} \mathcal{I}^{p}_{\alpha} = \left( \hat{y}-C_{\alpha}\hat{\sigma}\gamma_{p}(\boldsymbol{x}),\; \hat{y}+C_{\alpha}\hat{\sigma}\gamma_{p}(\boldsymbol{x}) \right) \end{equation}\]

  \[\begin{equation} P(|Z| < {C_{\alpha}} | Z\sim\mathcal{T}(n{-}p{-}1)) =\alpha \end{equation}\]

  • 観測値 \(y\) が入ることが期待される区間
  • \(\gamma_{p}>\gamma_{c}\) なので信頼区間より広くなる

解析の事例

信頼区間と予測区間

• 東京の気候データを用いて以下を試みる

  • 8月のデータで回帰式を推定する

    \[\begin{equation} \text{気温} = \text{係数}\cdot\text{気圧} + \text{係数}\cdot\text{日射} + \text{係数}\cdot\text{湿度} + \text{切片} \end{equation}\]

  • 上記のモデルで9月のデータを予測する

発展的なモデル

非線形性を含むモデル

• 目的変数 \(y\)
• 説明変数 \(x_1,\dotsc,x_p\)
• 説明変数の追加で対応可能
  • 交互作用 (交差項) : \(x_ix_j\) のような説明変数の積
  • 非線形変換 : \(\log(x_k)\) のような関数による変換

カテゴリカル変数を含むモデル

• 数値ではないデータの例
  • 悪性・良性
  • 血液型 (A型,B型,AB型,O型)
• 適切な方法で数値に変換して対応
  • 2値の場合は 1,0 (真，偽) を割り当てる
    • 悪性 : 1
    • 良性 : 0
  • 3値以上の場合は ダミー変数 を利用する (カテゴリ数-1個)
    • A型 : (1,0,0)
    • B型 : (0,1,0)
    • O型 : (0,0,1)
    • AB型 : (0,0,0)

解析の事例

非線形変換による線形化

非線形な関係の分析

• 東京の気候データ(9月)を用いて 気温に影響する変数の関係を検討する

  • 日射と気圧の線形回帰モデル

    (日射と気圧が気温にどのように影響するか検討する)

  • これらの交互作用を加えた線形回帰モデル

    (日射と気圧の相互の関係の影響を検討する)

カテゴリカル変数の利用

• 東京の気候データを用いて 気温を回帰するモデルを検討する

  • 降水の有無を表すカテゴリカル変数を用いたモデル

    (雨が降ると気温が変化することを検証する)

  • 月をカテゴリカル変数として加えたモデル

    (月毎の気温の差を考慮する)