信号処理 - 第3講
(Press ? for help, n and p for next and previous slide)
村田 昇
満たすべき条件
- \(a,b\in V\;\Rightarrow\;a+b\in V\) (線形性)
- \(a,b,c\in V\;\Rightarrow\;(a+b)+c=a+(b+c)\) (結合則)
- \(a,b\in V\;\Rightarrow\;a+b=b+a\) (交換則)
- \(\exists0\in V\;\text{s.t.}\;\forall a\in V,\;a+0=a\) (零元)
- \(\forall a\in V\;\Rightarrow\;\exists -a\in V\;\text{s.t.}\;a+(-a)=0\) (逆元)
- \(\forall \lambda\in K,\forall a\in V\;\Rightarrow\;\lambda a\in V\) (スカラ倍)
- \(\forall \lambda,\mu\in K,\forall a\in V\;\Rightarrow\;(\lambda\mu)a=\lambda(\mu a)\) (結合則)
- \(\exists 1\in K\;\text{s.t.}\forall a\in V,\;1a=a\) (\(K\) の単位元)
- \(\forall\lambda\in K,\forall a,b\in V\;\Rightarrow\;\lambda(a+b)=\lambda a+\lambda b\) (分配則)
- \(\forall\lambda,\mu\in K,\forall a\in V\;\Rightarrow\;(\lambda+\mu)a=\lambda a+\mu a\) (分配則)
内積
ベクトル空間の2つの要素 \(u,v\in\mathcal{H}\) に対して， 次の性質を持つ2変数関数を 内積 という．
- \(\langle u,u\rangle\geq0\) 特に \(\langle u,u\rangle=0\;\Rightarrow\;u=0\)
- \(\langle u,v\rangle = \overline{\langle v,u\rangle}\) (複素共役)
なお，体 \(K\) が実数の場合は \(\langle u,v\rangle = \langle v,u\rangle\)- \(\langle \alpha u+\beta u',v\rangle =\alpha\langle u,v\rangle+\beta\langle u',v\rangle\) (線形性)
定義
内積が定義されたベクトル空間を 内積空間 という．
完備性の定義
ある集合の中で無限に続く点列 \(u_{n}\) を考え， この点列がだんだん動かなくなる状況を考える．
\begin{equation} \lim_{n,m\to\infty}d(u_{n},u_{m})=0.\;\text{(Cauchy 列という)} \end{equation}この点列の収束先 \(\lim_{n\to\infty}u_{n}\) がもとの集合に含まれるとき， その集合は 完備 であるという．
定義
内積空間 \(\mathcal{H}\) が ノルム \(\|u\|=\sqrt{\langle u,u\rangle}\) に関して完備なとき Hilbert 空間 という．
\(l^{2}\) 空間 (無限次元数ベクトル空間)
\begin{equation} l^{2}= \left\{u=(u_{1},u_{2},\dotsc),\;u_{i}\in K,\; \|u\|<\infty \right\}, \end{equation}\begin{equation} \langle u,v\rangle = \sum_{i=1}^{\infty}u_{i}\overline{v_{i}}, \quad \|u\|^{2} = \sum_{i=1}^{\infty}|u_{i}|^{2}. \end{equation}
\(L^{2}\) 空間 (これから扱う信号の空間)
\begin{equation} L^{2}(\Omega)= \left\{ f\:\Big|\:\|f\|<\infty \right\}, \end{equation}\begin{equation} \langle f,g\rangle = \int_{\Omega}f(x)\overline{g(x)}dx, \quad \|f\|^{2} = \int_{\Omega}|f(x)|^{2}dx. \end{equation}
定義
Hilbert 空間 \(\mathcal{H}\) の 部分集合 \(\mathcal{A}\) を考える．
\begin{equation} \forall\phi,\psi\in\mathcal{A},\,\phi\not=\psi\; \Rightarrow\; \langle \phi,\psi\rangle=0 \end{equation}となるとき， \(\mathcal{A}\) を 直交系 という．
さらに
\begin{equation} \forall\phi\in\mathcal{A}\;\Rightarrow\; \|\phi\|=\sqrt{\langle\phi,\phi\rangle}=1 \end{equation}となるとき， \(\mathcal{A}\) を 正規直交系 という．
\(l^{2}\) 空間
無限次元数ベクトル空間 \(l^{2}\) を考える．
\begin{align} u= &(u_{1},u_{2},\dotsc,u_{k},\dotsc),\\ &\|u\|^{2}=\sum_{k=1}^{\infty}|u_{k}|^{2}<\infty \end{align}
\(l^{2}\) 空間の自然な系
\(\phi_{k}\) を以下で定義する．
\begin{equation} \phi_{k}=(0,\dotsc,0,\overbrace{1}^{k\text{番目}},0,\dotsc) \in l^{2},\;k=1,2,\dotsc \end{equation}このとき，
\begin{align} \langle \phi_{k},\phi_{h}\rangle &= \begin{cases} 0,&k\not=h\\ 1,&k=h \end{cases}\\ &=\delta_{kh}\;\text{(Kronecker's delta)} \end{align}なので， \(\mathcal{A}=\{\phi_{k}\}_{k=1}^{\infty}\) は正規直交系である．
稠密の定義
ある集合の部分集合が 稠密 とは， もとの集合の任意の点に対して， いくらでも近い点をその部分集合の中から選ぶことができることをいう．
可分の定義
ある集合が 可分 とはその集合の中に稠密な可算部分集合を取ることができることをいう．
定理
可分な Hilbert 空間 \(\mathcal{H}\) の正規直交系は 高々可算 な集合である．
その1
\(\mathcal{H}\) は可分なので， 稠密な可算部分集合 \(\mathcal{D}\) をとることができる．
その2
正規直交系 \(\mathcal{A}\) において \(\forall\phi,\psi\in\mathcal{A},\;\phi\not=\psi\)
\begin{equation} \|\phi-\psi\|=\sqrt{2} \end{equation}が成り立つ．
その3
\(\phi\in\mathcal{A}\subset\mathcal{H}\) に対して \(u_{\phi}\in\mathcal{D}\) を
\begin{equation} \|\phi-u_{\phi}\|<\frac{1}{\sqrt{2}} \end{equation}となるようにとることができる(稠密なので必ずとれる)．
その4
このとき三角不等式により以下が成り立つ．
\begin{align} \sqrt{2} &=\|\phi-\psi\|\\ &\leq\|\phi-u_{\phi}\|+\|u_{\phi}-u_{\psi}\|+\|u_{\psi}-\psi\|\\ &<\sqrt{2}+\|u_{\phi}-u_{\psi}\| \end{align}
その5
したがって
\begin{equation} \|u_{\phi}-u_{\psi}\|\not=0 \;\Rightarrow\; u_{\phi}\not=u_{\psi} \end{equation}つまり \(\phi\to u_{\phi}\) は1対1対応にできる．
その6
\(\mathcal{D}\) は可算なので， \(\mathcal{A}\) は高々可算であることがわかる．
定理
Hilbert 空間 \(\mathcal{H}\) の 点 \(\psi_{k}\in\mathcal{H}\) の集合 \(\{\psi_{k}\}_{k=1,2,\dotsc}\) を考える． \(\forall n\) に対して \(\psi_{1},\dotsc,\psi_{n}\) が線形独立であるとする． このとき，次の性質を満たす \(\mathcal{H}\) の 正規直交系 \(\{\phi_{k}\}\) が存在する．
- \(\phi_{n}\) は \(\psi_{1},\dotsc,\psi_{n}\) の線形結合，
- \(\psi_{n}\) は \(\phi_{1},\dotsc,\phi_{n}\) の線形結合．
式による表記
\begin{equation} \mathrm{span}\{\psi_{k}\}_{k=1,\dotsc,n}=\mathrm{span}\{\phi_{k}\}_{k=1,\dotsc,n} \end{equation}
証明
Gram-Schmidt の直交化法 を用いて具体的に構成する．
- \(\phi_{1}=\|\psi_{1}\|^{-1}\psi_{1}\) (正規化)
- \(\phi'_{2}=\psi_{2}-\langle\psi_{2},\phi_{1}\rangle\phi_{1}\) (直交化)
- \(\phi_{2}=\|\phi'_{2}\|^{-1}\phi'_{2}\) (正規化)
- \(\cdots\) (同様に繰り返す)
- \(\phi'_{n}=\psi_{n}-\sum_{k=1}^{n-1}\langle\psi_{n},\phi_{k}\rangle\phi_{k}\) (直交化)
- \(\phi_{n}=\|\phi'_{n}\|^{-1}\phi'_{n}\) (正規化)
問題
\(L^{2}(-1,1)\) における独立なベクトルを
\begin{equation} \psi_{0}=1,\,\psi_{1}=x,\,\psi_{2}=x^{2},\dotsc \end{equation}とする． この集合から正規直交系を構成せよ．
解答
- \(\phi_{0}=1/\|\psi_{0}\|=1/\sqrt{2}\)
- \(\phi'_{1}=x-\int_{-1}^{1}(x/2)dx=x\),
- \(\phi_{1}=x/\|\phi'_{1}\|=\sqrt{3}/\sqrt{2}x\)
- (練習問題)
以下の集合から正規直交系を構成せよ．
\begin{equation} \{1,\sin(2\pi x),\cos(2\pi x)\}\in L^{2}(0,1), \end{equation}ただし内積は以下で定めるものとする．
\begin{equation} \langle f,g \rangle =\int_{0}^{1}f(x)\overline{g(x)}dx \end{equation}
正規直交系 \(\{\phi_{k}\}_{k=1,2,\dotsc}\) の性質として以下は重要
\begin{equation} \forall n,\; \langle\sum_{j=1}^{n}c_{j}\phi_{j},\sum_{k=1}^{n}d_{k}\phi_{k}\rangle =\sum_{k=1}^{n}c_{k}\bar{d}_{k},\; c_{j},d_{k}\in\mathbb{C} \end{equation}
証明
正規直交性より明らか
\begin{equation} \langle\phi_{j},\phi_{k}\rangle =\delta_{jk} \end{equation}
定理
\(\{\phi_{k}\}\) が \(\mathcal{H}\) の正規直交系ならば，
\begin{equation} \forall u\in\mathcal{H},\; \sum_{k}|\langle u,\phi_{k}\rangle|^{2}\leq\|u\|^{2} \end{equation}が成り立つ．
証明
\begin{align} 0 &\leq\|u-\sum_{k}\langle u,\phi_{k}\rangle\phi_{k}\|^{2}\\ &=\langle u-\sum_{j}\langle u,\phi_{j}\rangle\phi_{j}, u-\sum_{k}\langle u,\phi_{k}\rangle\phi_{k}\rangle\\ &=\|u\|^{2} -\sum_{k}\overline{\langle u,\phi_{k}\rangle}\langle u,\phi_{k}\rangle\\ &\qquad -\sum_{j}\langle u,\phi_{j}\rangle\overline{\langle u,\phi_{j}\rangle} +\sum_{j,k}\langle u,\phi_{j}\rangle \overline{\langle u,\phi_{k}\rangle}\delta_{jk}\\ &=\|u\|^{2}-\sum_{k}|\langle u,\phi_{k}\rangle|^{2} \end{align}
定義
\(\{\phi_{k}\}\) が \(\mathcal{H}\) の正規直交系とする．
\begin{equation} \forall u\in\mathcal{H},\; \|u\|^{2}=\sum_{k}|\langle u,\phi_{k}\rangle|^{2} \end{equation}が成り立つとき， \(\{\phi_{k}\}\) を 完全正規直交系 という．
定理
\(\{\phi_{k}\}\) が \(\mathcal{H}\) の正規直交系， \(\mathcal{M}\) を \(\{\phi_{k}\}\) が生成する閉部分空間とする． 以下の条件は同値である．
- \(\mathcal{H}=\mathcal{M}\)
- \(\forall u\in\mathcal{H}\;\Rightarrow\; u=\sum_{k}\langle u,\phi_{k}\rangle\phi_{k}\)
- \(\forall u\in\mathcal{H}\;\Rightarrow\; \|u\|^{2}=\sum_{k}|\langle u,\phi_{k}\rangle|^{2}\) (Parseval の等式)
- \(\forall u,v\in\mathcal{H}\;\Rightarrow\; \langle u,v\rangle =\sum_{k}\langle u,\phi_{k}\rangle\overline{\langle v,\phi_{k}\rangle}\)
- \(\forall k,\, \langle u,\phi_{k}\rangle=0\;\Rightarrow\;u=0\)
定理
可分な無限次元 Hilbert 空間には 可算個の要素からなる完全正規直交系が存在する．
定理
可分な無限次元 Hilbert 空間は \(l^{2}\) 空間と同型である．
\(l^{2}\) 空間
\begin{align} \phi_{k} &=(0,\dotsc,0,\overbrace{1}^{k},0,\dotsc),\;k=1,2,\dotsc \\ &\langle\phi_{j},\phi_{k}\rangle =\delta_{jk} \end{align}
\(L^{2}(-\pi,\pi)\) 空間
\begin{align} \phi_{k}(x) &=\frac{1}{\sqrt{2\pi}}e^{ikx},\;k=0,\pm1,\pm2,\dotsc\\ &\langle\phi_{j},\phi_{k}\rangle=\delta_{jk} \end{align}
\(L^{2}(-\pi,\pi)\) 空間において
\begin{equation} \frac{1}{\sqrt{2\pi}}e^{inx},\;n=0,\pm1,\pm2,\dotsc \end{equation}
が正規直交系になることを確かめよ．
Parseval の等式を満たす正規直交系
\begin{equation} \forall u\in\mathcal{H}\;\Rightarrow\; \|u\|^{2}=\sum_{k}|\langle u,\phi_{k}\rangle|^{2} \end{equation}