統計的機械学習
統計的機械学習では，比較的少数の実例から，データの背後にある確率構造を推定するという問題を扱う．その鍵となるのは，データを生成する確率構造をどのようにモデル化し，未知のパラメタをどのようにして効率的に求めるかという点にある．
我々は，数理的観点から，様々な学習機械の性質，最適化の動的挙動，および推定されたパラメタの統計的性質について考察する．
多層パーセプトロンの万能近似性 見出しへのリンク
ニューラルネットワークが，任意の非線形関数を十分に正確に近似できる汎用関数近似器であることは，様々な観点から証明されている．我々は，積分表現（リッジレット変換）に基づいて，ニューラルネットワークによって表現可能な関数のクラスを明確にし，有限和による近似精度と積分表現との関係を検討している．
Murata, N.: “An integral representation of functions using three-layered networks and their approximation bounds”, Neural Networks, Volume 9, Issue 6, August 1996, Pages 947-956. https://doi.org/10.1016/0893-6080(96)00000-7
Sonoda S., Murata, N. Applied and Computational Harmonic Analysis Volume 43, Issue 2, September 2017, Pages 233-268 https://doi.org/10.1016/j.acha.2015.12.005
オンライン学習の統計分析 見出しへのリンク
学習は，環境の確率的構造を抽出するための柔軟かつ効果的な手段である．実際には，バッチ学習とオンライン学習という，2つの異なる種類の学習が用いられる．バッチ学習の手法では，すべての学習例を繰り返し使用するため，その性能は統計的推定手法と比較される．オンライン学習はより動的であり，新しいデータを一つずつ観測することで現在の推定値を更新する．オンライン学習は一般に処理速度が遅いが，変化する環境下では良好に機能する．我々は，バッチ学習とオンライン学習のための統計的解析の統一的な枠組みを提示している．取り上げるトピックには，漸近的学習曲線，汎化誤差と学習誤差，過学習と過訓練，学習の効率性，および学習率を決定する適応的手法が含まれる．
Murata, N., and Amari, S.: “Statistical analysis of learning dynamics”, Signal Processing, Volume 74, Issue 1, January 1999, Pages 3–28. https://doi.org/10.1016/S0165-1684(98)00206-0
Murata, N., Kawanabe, M., Ziehe, A., Müller, K.-R., and Amari, S.: “On-line learning in changing environments with applications in supervised and unsupervised learning”, Neural Networks, Volume 15, Issue 4–6, June-July 2002, Pages 743–760. https://doi.org/10.1016/S0893-6080(02)00060-6
データ集合の系列における変化点の検出 見出しへのリンク
変化点検出は工学的に重要な問題で，これまでに様々な方法が提案されている．多くの既存方法では各時間ステップで観測される各データ点が単一の多次元ベクトルであると仮定しているが，より広いクラスの問題に適用可能とするため，各時点での観測データが確率変数の集合(bags-of-data)である設定を考え，ノンパラメトリックで計算効率の良い方法を提案する．まず，各bag-of-dataの背後にある基礎的な分布を推定し，それらの分布をメトリック空間に埋め込んむ．それから，距離ベースの情報の推定量を用いて，メトリック空間において分布の並びがどのように変動しているかを評価することにより，変化点スコアが導出する．また，時間ステップごとに変化点スコアの信頼区間を計算することで，警報の発生タイミングを適応的に判断する手順が組み込まれている．これにより，ノイズの多い状況での誤報を回避し，様々な大きさの変化を検出することが可能となる．
Koshijima, K., Hino, H. and Murata, N.: “Change-Point Detection in a Sequence of Bags-of-Data”, IEEE Transactions on Knowledge and Data Engineering, Volume 27, Number 10, October 2015, Pages 2632-2644. https://doi.org/10.1109/TKDE.2015.2426693
related works
Hino, H. and Murata, N.: “Information estimators for weighted observations”, Neural Networks, Volume 46, October 2013, Pages 260–275. https://doi.org/10.1016/j.neunet.2013.06.005
ブランドシェア分析のための遷移行列の推定 見出しへのリンク
製品市場や株式市場では，さまざまな製品や株式が同じ消費者や購入者をめぐって競合している．我々は，製品シェアの多変量時系列データを用いて，製品シェアの時間変動遷移行列を推定する手法を提案する．本手法は，観測された各シェアの時系列が，遷移確率行列によって特徴づけられる基礎となるマルコフ過程の定常分布に従うという仮定に基づいている．我々は，自然な仮定の下で，すべての観測値に対する遷移確率行列を推定する．我々は，自動車のシェアに関する実世界のデータセットを用いて，提案手法がシェアの本質的な遷移を見出すことができることを実証する．
Chiba, T., Hino, H., Akaho, S., and Murata, N.: “Time-Varying Transition Probability Matrix Estimation and Its Application to Brand Share Analysis”, PLOS ONE, Volume 12, Issue 1, January 2017, e0169981. https://doi.org/10.1371/journal.pone.0169981
