情報幾何

情報幾何は,確率分布の空間における幾何学を扱う比較的新しい数学の分野で,双対接続と呼ばれる特徴的な構造に着目する.ある確率分布から収集された実例(データ)と,データ構造をモデル化する学習機械との関係を確率分布の空間において考察することで,機械学習アルゴリズムの性質について論じることができる.

適切に設計されたアンサンブルによる性能向上 見出しへのリンク

ブースティングは,機械学習特有のアルゴリズムであり,性能の低い学習器を効率的に集め,それらを組み合わせて性能の高い学習器へと強化するものである.

ブースティングの各ステップは,重み付けされたデータを用いた弱い学習器の推定であるが,確率分布の空間の中で捉え直すと,それまでに獲得された学習器を基点とする特別な学習モデルを元のデータによって逐次的に更新する特殊な座標勾配法として理解することができる.

Information Geometry of Boosting

[ slide ]​

Murata, N., Takenouchi, T., Kanamori, T., Eguchi, S.: “Information geometry of U-Boost and Bregman divergence”, Neural Computation, Volume 16, Issue 7, July 2004, Pages 1437-1481. https://doi.org/10.1162/089976604323057452

Bradley-Terry モデルの幾何学的拡張 見出しへのリンク

Bradley-Terry モデルは,レーティングにおける基本的かつ重要な確率モデルである.各選手に割り当てられるパラメタは,その2人の選手間の勝敗数に基づいて推定されるため,二項分布の多重最尤推定を行う必要がある.このため,試合数による重み付けを考慮したいくつかの尤度設計が提案されてきた.

我々は,確率分布の空間での幾何学的な考察を行い,不完全観測データによる多項分布の最尤推定と捉え, Expectation-Maxmization (exponential-mixture) algorithm の枠組でパラメタの推定を行うアルゴリズムを提案している.

Information Geometry of Rating

[ slide ]​

Fujimoto, Y., Hino, H., Murata, N.: “An estimation of generalized Bradley-Terry models based on the em algorithm”, Neural Computation, Volume 23, Issue 6, June 2011, Pages 1623-1659. https://doi.org/10.1162/NECO_a_00129

Hino, H., Fujimoto, Y., Murata, N.: “A Grouped Ranking Model for Item Preference Parameter”, Neural Computation, Volume 22, Issue 9, September 2010, Pages 2417–2451. https://direct.mit.edu/neco/article/22/9/2417-2451/7574


to be continued