Hilbert 空間

信号処理 - 第2講

(Press ? for help, n and p for next and previous slide)

村田 昇

前回のおさらい

ベクトル空間

  • 以下の条件を満たす

    1. \(a,b\in V\;\Rightarrow\;a+b\in V\) (線形性)
    2. \(a,b,c\in V\;\Rightarrow\;(a+b)+c=a+(b+c)\) (結合則)
    3. \(a,b\in V\;\Rightarrow\;a+b=b+a\) (交換則)
    4. \(\exists0\in V\;\text{s.t.}\;\forall a\in V,\;a+0=a\) (零元)
    5. \(\forall a\in V\;\Rightarrow\;\exists -a\in V\;\text{s.t.}\;a+(-a)=0\) (逆元)
    6. \(\forall \lambda\in K,\forall a\in V\;\Rightarrow\;\lambda a\in V\) (スカラ倍)
    7. \(\forall \lambda,\mu\in K,\forall a\in V\;\Rightarrow\;(\lambda\mu)a=\lambda(\mu a)\) (結合則)
    8. \(\exists 1\in K\;\text{s.t.}\forall a\in V,\;1a=a\) (\(K\) の単位元)
    9. \(\forall\lambda\in K,\forall a,b\in V\;\Rightarrow\;\lambda(a+b)=\lambda a+\lambda b\) (分配則)
    10. \(\forall\lambda,\mu\in K,\forall a\in V\;\Rightarrow\;(\lambda+\mu)a=\lambda a+\mu a\) (分配則)

ベクトル空間の例

  • 幾何ベクトル
  • 数ベクトル
  • 関数空間 \(C^{m}[0,1]\)

    区間 \([0,1]\) 上の実数値関数で, \(m\) 階微分可能な関数の集合. 和とスカラ倍は以下で定義される.

    \begin{align} &(f+g)(x)=f(x)+g(x)&&\text{(和)}\\ &(\lambda f)(x)=\lambda f(x)&&\text{(スカラ倍)} \end{align}

線形独立

  • 定義

    \begin{equation} \lambda_{1}a_{1}+\dotsb+\lambda_{k}a_{k}=0 \end{equation}

    となるのが \(\lambda_{1}=\dotsb=\lambda_{k}=0\) に限られるとき, \(\{a_{1},\dotsc,a_{k}\}\) は 線形独立 であるという.

基底

  • 定義

    \(V\) の極大独立集合を \(V\) の基底と呼ぶ. \(V\) の階数,すなわち極大独立集合の基数を \(V\) の 次元 (dimension) という.

  • 極大独立集合

    ある集合 \(S\) の線形独立な部分集合 \(B\subset S\) を考える. \(\forall b\in S-B\) において \(B\cup\{b\}\) が線形従属のとき, \(B\) は 極大独立集合 であるという.

基底の重要性

  • 定理

    \(B=\{u_{1},\dotsc,u_{n}\}\) を \(V_{n}\) の基底とする. \(\forall b\in V_{n}\) は \(B\) に線形従属で,

    \begin{equation} b=\lambda_{1}u_{1}+\dotsb+\lambda_{n}u_{n} \end{equation}

    と一意に表される.

    • ベクトル \(b\) を数ベクトル \((\lambda_{1},\dotsc,\lambda_{n})\) で表すことができる

演習

練習問題

  • 以下の集合 \(V\) のうちベクトル空間はどれか?
    • \(V=\{f\in C^{3}[-\pi,\pi]\) かつ \(f^{(2)}+f^{(1)}+f=0\}\)
    • \(V=\{f\in C^{3}[-\pi,\pi]\) かつ \(f^{(2)}+f^{(1)}+f=1\}\)
  • 以下の集合のうち線形独立なものはどれか?
    • \(\{1,\;x,\;x^{2}\}\quad(x\in\mathbb{R})\)
    • \(\{1-x,\;1+x,\;1-x^{2}\}\quad(x\in\mathbb{R})\)
  • 以下のベクトル空間の空間の次元は?
    • \(C^{m}[0,1]\)
    • \(V=\{f(x)=a+bx+cx^{2},\;(a,b,c)\in\mathbb{R}^{3}\}\)

内積空間

内積

  • 定義

    ベクトル空間の2つの要素 \(u,v\in\mathcal{H}\) に対して, 次の性質を持つ2変数関数を 内積 という.

    1. \(\langle u,u\rangle\geq0\) 特に \(\langle u,u\rangle=0\;\Rightarrow\;u=0\)
    2. \(\langle u,v\rangle = \overline{\langle v,u\rangle}\) (複素共役)
      なお,体 \(K\) が実数の場合は \(\langle u,v\rangle = \langle v,u\rangle\)
    3. \(\langle \alpha u+\beta u',v\rangle =\alpha\langle u,v\rangle+\beta\langle u',v\rangle\) (線形性)
    • \(\langle u,v\rangle\), \((u,v)\), \(u\cdot v\) などいろいろな書き方があるが, 講義では \(\langle u,v\rangle\) を用いる

内積空間

  • 定義

    内積が定義されたベクトル空間を 内積空間 という.

内積空間の例

  • 幾何ベクトル空間
  • 数ベクトル空間
  • 関数空間

内積の例

  • 幾何ベクトル空間

    2つの有効線分のなす角 \(\theta\) とそ れぞれの長さ \(|u|,|v|\) を用いて定義

    \begin{equation} \langle u,v\rangle = |u||v|\cos\theta \end{equation}
  • 数ベクトル空間

    2つの複素数値ベクトル \(u=(u_{1},u_{2},\dotsc,u_{n})\), \(v=(v_{1},v_{2},\dotsc,v_{n})\) に対して

    \begin{equation} \langle u,v\rangle = \sum_{i=1}^{n}u_{i}\bar{v}_{i} \end{equation}

    ただし \(\bar{\cdot}\) は複素共役

  • 関数空間

    \(\mathbb{R}\) 上で定義された 2つの複素数値関数 \(u,v\) に対して

    \begin{equation} \langle u,v\rangle = \int_{-\infty}^{\infty}u(x)\overline{v(x)}dx \end{equation}
    • 定義域が \(\Omega\) で表される場合に

      \begin{equation} \langle u,v\rangle = \int_{\Omega}u(x)\overline{v(x)}dx \end{equation}

      のように書くこともある

ノルム

  • 定義

    \(u\in\mathcal{H}\) に対して, その ノルム

    \begin{equation} \|u\|=\sqrt{\langle u,u\rangle} \end{equation}

    で定義する.

  • ノルムの性質

    • \(\|u\|\ge0\) 特に \(\|u\|=0\;\Rightarrow\;u=0\)
    • \(\|\alpha u\|=|\alpha|\|u\|,\;\forall\alpha\in K\)
      (係数体 \(K\) としては \(\mathbb{R}\) か \(\mathbb{C}\) を考え, \(|\cdot|\) は \(K\) 上の絶対値を表す)
    • \(|\langle u,v\rangle|\leq\|u\|\cdot\|v\|\) (Cauchy-Schwarzの不等式)
    • \(\|u+v\|\leq\|u\|+\|v\|\) (三角不等式)

距離

  • 内積空間では自然に距離が導入される

    \(d(u,v)=\|u-v\|\) を考えると \(d\) は 距離 になっている.

演習

練習問題

  • 距離の定義を述べよ.
  • 2つのベクトルの差のノルムが距離となることを確かめよ.
  • 係数体を \(\mathbb{C}\) とする内積空間 \(\mathcal{H}\) を考える. 内積およびノルムの性質として正しいものはどれか?
    • \(\langle u,v\rangle = \langle v,u\rangle\)
    • \(\|u\|=0\) ならば \(u=0\)
    • \(\forall\alpha\in\mathbb{C},\;\|\alpha u\|=\alpha\|u\|\)
    • \(|\langle u,v\rangle|>\|u\|+\|v\|\)

Hilbert 空間

完備性

  • 定義

    ある集合の中で無限に続く点列 \(u_{n}\) を考え, この点列がだんだん動かなくなる状況を考える.

    \begin{equation} \lim_{n,m\to\infty}d(u_{n},u_{m})=0.\;\text{(Cauchy列という)} \end{equation}

    この点列の収束先 \(\lim_{n\to\infty}u_{n}\) がもとの集合に含まれるとき, その集合は 完備 であるという.

完備性の例

  • 有理数は完備でない

    点列 \(a_{n}\) を円周率の小数 \(n\) 桁以下を 切り捨てた数と定義する. 明らかに \(a_{n}\) は有限桁なので有理数であるが, \(\lim_{n\to\infty}a_{n}=\pi\) は無理数

  • 実数の区間 \([0,1]\) は完備だが,\((0,1)\) は完備でない

    点列 \(1/2n \in (0,1)\) であるが, \(\lim_{n\to\infty}1/2n=0\not\in (0,1)\)

Hilbert 空間

  • 定義

    内積空間 \(\mathcal{H}\) がノルムに関して完備なとき, Hilbert 空間 という.

    • “ノルムに関して”とは ノルムから自然に導出された距離を用いて Cauchy 列を考えるということ
    • 完備の厳密な定義は解析学の本を参照

Hilbert 空間の例

  • \(l^{2}\) 空間 (無限次元数ベクトル空間)

    \begin{equation} l^{2}= \left\{u=(u_{1},u_{2},\dotsc),\;u_{i}\in K,\; \|u\|<\infty % \sum_{i=1}^{\infty}|u_{i}|^{2}<\infty \right\} \end{equation}
    \begin{equation} \langle u,v\rangle = \sum_{i=1}^{\infty}u_{i}\overline{v_{i}}, \quad \|u\|^{2} = \sum_{i=1}^{\infty}|u_{i}|^{2}. \end{equation}
    • Cauchy-Schwarzの不等式 \(\langle u,v\rangle\leq\|u\|\cdot\|v\|\) により,条件(ノルムが有限の値を持つ)から必ず内積の値は存在
    • 完備性の証明はかなり面倒. 興味のあるものは成書を参照
  • \(L^{2}\) 空間

    \begin{equation} L^{2}(\Omega)= \left\{ f\:\big|\:\|f\|<\infty % f\:\Big|\:\int_{\Omega}|f(x)|^{2}dx<\infty \right\} \end{equation}
    \begin{equation} \langle f,g\rangle = \int_{\Omega}f(x)\overline{g(x)}dx, \quad \|f\|^{2} = \int_{\Omega}|f(x)|^{2}dx \end{equation}
    • 今後扱う信号の空間に対応する
    • ノルムが有界であることは信号の物理的な性質と関係する

演習

練習問題

  • 以下の集合の中で完備なものはどれか?
    • 実数全体 \((-\infty,\infty)\)
    • 0以外の実数
    • 区間 \([0,1]\) の無理数
  • 実数 \(\mathbb{R}\) を係数体とする 以下の内積空間で Hilbert 空間となるものはどれか?
    • \((u_{1},u_{2},u_{3})\in\mathbb{R}^{3}\) (内積は \(\langle u,v\rangle=\sum_{i=1}^{3}u_{i}v_{i}\))
    • 区間 \([-1,1]\) 上の実数値連続関数の空間 \(C[-1,1]\) (内積は \(\langle f,g\rangle=\int_{-1}^{1}f(x)g(x)dx\).不連続な点がない関数.微分できなくても良い)

今回のまとめ

  • 内積 : ベクトル空間の2つの要素に対して定義され, 以下の性質を持つ
    • \(\langle u,u\rangle\geq0\) 特に \(\langle u,u\rangle=0\;\Rightarrow\;u=0\)
    • \(\langle u,v\rangle = \overline{\langle v,u\rangle}\) (複素共役)
    • \(\langle \alpha u+\beta u',v\rangle =\alpha\langle u,v\rangle+\beta\langle u',v\rangle\) (線形性)
  • ノルム : 内積を用いて \(\|u\|=\sqrt{\langle u,u\rangle}\) で定義され, 以下の性質を持つ
    • \(\|u\|\geq0\) 特に \(\|u\|=0\;\Rightarrow\;u=0\)
    • \(\|\alpha u\|=|\alpha|\|u\|,\;\forall\alpha\in K\)
    • \(|\langle u,v\rangle|\leq\|u\|\cdot\|v\|\) (Cauchy-Schwarzの不等式)
    • \(\|u+v\|\leq\|u\|+\|v\|\) (三角不等式)
  • 完備性 : ある集合の点列の収束先がもとの集合に含まれること
  • 内積空間 : 内積が定義されたベクトル空間
  • Hilbert 空間 : 完備な内積空間