第51回統計的機械学習セミナーのご案内（10/11)

[Kenji Fukumizu]

IBISMLの皆様

 

統数研の福水です．

以下の通り第51回統計的機械学習セミナーを開催いたします．今回は，機械学習と物理学の交わる分野で先端的研究を進められているお二人にご講演をいただきます．

なお，今回の統計的機械学習セミナーは，JST・CREST「数理知能表現による深層構造学習モデルの革新」（代表・福水）と統計数理研究所・統計的機械学習研究センターとの共催イベントです．

 

日時：: 2022年10月11日（火） 15:00~17:45

15:00-16:15　上田正仁先生（東京大学）

16:30-17:45　唐木田亮先生（産業技術総合研究所）

オンライン（Zoom）

参加ご希望の方は，以下のgoogle formにご記入ください．zoom linkがメールされます．

https://forms.gle/LhLhWnKs4iowprg88

 

講演１

15:00-16:15　上田正仁先生　（東京大学大学院理学系研究科・知の物理学研究センター）

 

講演タイトル：　物理学とAIの相互交流から生まれる新しい可能性について

要旨：

知の物理学研究センターは物理学とAIの融合を通じた新しい学問領域「知の物理学」の創成を目指して2018年に設立されました。現在、10名のPIが宇宙、原子核、統計物理、物性、生物などの分野において研究活動を展開しています。

物理学とAIは共にビックデータを統計的手法で扱う一方で、研究手法は互いに相補的な側面を有しています。特に、物理学が扱うビックデータは標準理論と呼ばれる物理原理が生み出すフォーマットされたデータであるために、結果から原因に遡ることが原理によって保障されています。このことを利用することで説明可能なAIを構築する可能性が生まれます。他方、物理学にとってはAIは、実験、理論、計算機シミュレーションに次ぐ第４の研究手法とみなすことができ、新物質の探索だけでなく、ハミルトニアンが不可知な環境との相互作用をする系（開放系）を制御する際に威力を発します。また、学習過程は物理学の言葉でいうと系を冷却して熱化する仮定とみなすことができ、このような観点から物理学で得られている知見を機械学習の理解へと役立てる可能性が生まれます。

講演では知の物理学の目指すところと、物理学とAIの相互交流から生まれる新しい学問の可能性について議論したいと思います。

 

 

講演２

16:30-17:45　唐木田亮先生（産業技術総合研究所・人工知能研究センター）

 

タイトル: 継続学習における自己知識転移と忘却

要旨:

深層学習の発展により柔軟な転移学習や継続学習が実現しつつあるが, その挙動の理解は限定的な部分も多く, いくつかの単純化された可解モデルで理論的な理解が試みられている. 本講演では, 学習モデルがパラメータに対して線形化された状況である NTK (Neural Tangent Kernel) レジームで定式化された継続学習に着目し, その汎化誤差解析の結果を紹介する. このモデルでは継続学習がある種の遂次的なカーネルリッジ(レス)回帰で定式化されるため, 統計力学的なレプリカ解析によって, 汎化誤差の漸近的な値の典型評価が可能となる. 得られた汎化誤差から, タスク間の類似度に依存して破滅的忘却現象や知識転移の正負の切り替わりが生じることを示す. さらに, 複数タスク間で教師信号として同一の関数を継続学習する設定を考える. このとき, タスクの追加に対して汎化誤差は必ずしも減少せず, タスク間の訓練サンプル数のバランスに依存することを明らかにする. 正の“自己”知識転移には均等に近いサンプル数が重要と示唆される. 講演では, このような可解モデルによる学習手法の解析, 特に, 継続学習における近年の報告も概観しながら議論したい.

 

主催

・統計数理研究所　統計的機械学習研究センター

・JST CREST研究領域 数理的情報活用基盤（総括・上田修功）「数理知能表現による深層構造学習モデルの革新 」（代表・福水健次）

 

連絡先：　福水健次 fuku...@ism.ac.jp