研究 on 村田昇

情報幾何

Wed, 21 Jun 2023 00:00:00 +0900

情報幾何は，確率分布の空間における幾何学を扱う比較的新しい数学の分野で，双対接続と呼ばれる特徴的な構造に着目する．ある確率分布から収集された実例（データ）と，データ構造をモデル化する学習機械との関係を確率分布の空間において考察することで，機械学習アルゴリズムの性質について論じることができる．

適切に設計されたアンサンブルによる性能向上見出しへのリンク

ブースティングは，機械学習特有のアルゴリズムであり，性能の低い学習器を効率的に集め，それらを組み合わせて性能の高い学習器へと強化するものである．

ブースティングの各ステップは，重み付けされたデータを用いた弱い学習器の推定であるが，確率分布の空間の中で捉え直すと，それまでに獲得された学習器を基点とする特別な学習モデルを元のデータによって逐次的に更新する特殊な座標勾配法として理解することができる．

[ slide ]

Murata, N., Takenouchi, T., Kanamori, T., Eguchi, S.: “Information geometry of U-Boost and Bregman divergence”, Neural Computation, Volume 16, Issue 7, July 2004, Pages 1437-1481. https://doi.org/10.1162/089976604323057452

Bradley-Terry モデルの幾何学的拡張見出しへのリンク

Bradley-Terry モデルは，レーティングにおける基本的かつ重要な確率モデルである．各選手に割り当てられるパラメタは，その2人の選手間の勝敗数に基づいて推定されるため，二項分布の多重最尤推定を行う必要がある．このため，試合数による重み付けを考慮したいくつかの尤度設計が提案されてきた．

我々は，確率分布の空間での幾何学的な考察を行い，不完全観測データによる多項分布の最尤推定と捉え， Expectation-Maxmization (exponential-mixture) algorithm の枠組でパラメタの推定を行うアルゴリズムを提案している．

[ slide ]

Fujimoto, Y., Hino, H., Murata, N.: “An estimation of generalized Bradley-Terry models based on the em algorithm”, Neural Computation, Volume 23, Issue 6, June 2011, Pages 1623-1659. https://doi.org/10.1162/NECO_a_00129

生物学的データ解析

Wed, 21 Jun 2023 00:00:00 +0900

生物学的システムは，複雑な構造を持つ高次元動的システムと見なすことができる．不確実でノイズの多い環境下では，外部から観測可能な変数はごくわずかである．多くの場合，我々が知りたいことと，実際に測定できることとの間には大きな隔たりがある．

このため観測可能なデータの生成メカニズムをいかに簡潔にモデル化するかが重要な課題となる．観測可能なデータの生成メカニズムを，知りたい構造の必要な部分だけを簡潔にモデル化し，未知のパラメタをいかに効率的かつ正確に推定するかが重要となる．

スパイク列からの神経接続の推定見出しへのリンク

神経接続の推定は，生物学的システムの機能や学習メカニズムを理解するための根本的な課題である．電極記録は比較的古典的な手法ではあるが，近年の技術の発展により，複数のニューロンの活動を同時かつ継続的に測定することが可能になった．複数のスパイク列の解析において，我々は以下の問題を解決する手法を提案している．

高次効果やダイナミクスに起因する擬似相関，
観測されていないニューロンからの影響，
方向性のある興奮性／抑制性接続．

[ slide ]

Iwasaki, T., Hino, H., Tatsuno, M., Akaho, S., Murata, N.: “Estimation of neural connections from partially observed neural spikes”, Neural Networks, Volume 108, December 2018, Pages 172-191. https://doi.org/10.1016/j.neunet.2018.07.019

related works

Nagayama, M., Aritake, T., Hino, H., Kanda, T., Miyazaki, T., Yanagisawa, M., Akaho, S., Murata, N.: “Detecting cell assemblies by NMF-based clustering from calcium imaging data”, Neural Networks, Volume 149, May 2022, Pages 29-39. https://doi.org/10.1016/j.neunet.2022.01.023

統計的機械学習

Wed, 21 Jun 2023 00:00:00 +0900

統計的機械学習では，比較的少数の実例から，データの背後にある確率構造を推定するという問題を扱う．その鍵となるのは，データを生成する確率構造をどのようにモデル化し，未知のパラメタをどのようにして効率的に求めるかという点にある．

我々は，数理的観点から，様々な学習機械の性質，最適化の動的挙動，および推定されたパラメタの統計的性質について考察する．

多層パーセプトロンの万能近似性見出しへのリンク

ニューラルネットワークが，任意の非線形関数を十分に正確に近似できる汎用関数近似器であることは，様々な観点から証明されている．我々は，積分表現（リッジレット変換）に基づいて，ニューラルネットワークによって表現可能な関数のクラスを明確にし，有限和による近似精度と積分表現との関係を検討している．

[ slide ]

Murata, N.: “An integral representation of functions using three-layered networks and their approximation bounds”, Neural Networks, Volume 9, Issue 6, August 1996, Pages 947-956. https://doi.org/10.1016/0893-6080(96)00000-7

Sonoda S., Murata, N. Applied and Computational Harmonic Analysis Volume 43, Issue 2, September 2017, Pages 233-268 https://doi.org/10.1016/j.acha.2015.12.005

オンライン学習の統計分析見出しへのリンク

学習は，環境の確率的構造を抽出するための柔軟かつ効果的な手段である．実際には，バッチ学習とオンライン学習という，2つの異なる種類の学習が用いられる．バッチ学習の手法では，すべての学習例を繰り返し使用するため，その性能は統計的推定手法と比較される．オンライン学習はより動的であり，新しいデータを一つずつ観測することで現在の推定値を更新する．オンライン学習は一般に処理速度が遅いが，変化する環境下では良好に機能する．我々は，バッチ学習とオンライン学習のための統計的解析の統一的な枠組みを提示している．取り上げるトピックには，漸近的学習曲線，汎化誤差と学習誤差，過学習と過訓練，学習の効率性，および学習率を決定する適応的手法が含まれる．

[ slide ]

研究 on 村田 昇

情報幾何

適切に設計されたアンサンブルによる性能向上 見出しへのリンク

Bradley-Terry モデルの幾何学的拡張 見出しへのリンク

生物学的データ解析

スパイク列からの神経接続の推定 見出しへのリンク

統計的機械学習

多層パーセプトロンの万能近似性 見出しへのリンク

オンライン学習の統計分析 見出しへのリンク

研究 on 村田昇

適切に設計されたアンサンブルによる性能向上見出しへのリンク

Bradley-Terry モデルの幾何学的拡張見出しへのリンク

スパイク列からの神経接続の推定見出しへのリンク

多層パーセプトロンの万能近似性見出しへのリンク

オンライン学習の統計分析見出しへのリンク