情報数理システムセミナー (2023/11/24(金) 13:15~)

[Obuchi]

IBISMLの皆様

京都大学 情報学研究科 システム科学専攻 情報数理システムの小渕です．

SISSAのSebastian Goldt氏が京都大学を訪れているということで下記セミナーを企画しました．
Goldt氏は，統計力学や高次元統計の手法を用いて，
人工及び生物ニューラルネットワークにおける
学習理論の研究を行っている非常にアクティブな若手研究者です．
対面のみでのセミナーとなりますが，興味の有る方は是非ご参加ください．
またよろしければ，興味のありそうな方への転送をお願いします．
--------------------------------------------------------------------------------------------
Speaker: Sebastian Goldt (SISSA)
Schedule: 11/24(Fri.)  13:15~(14:15)
Place: 京都大学吉田キャンパス 国際科学イノベーション棟 5階会議室(5a/5b) (Yoshida campus, SACI, Conference Rooms 5a/5b)

Title: The Gaussian world is not enough -- how training data shapes neural representations

Abstract:
What do neural networks learn from their data?
We discuss this question in two learning paradigms: supervised classification with feed-forward networks, and masked language modelling with transformers.
First, we give analytical and experimental evidence for a “distributional simplicity bias”,
whereby neural networks learn increasingly complex distributions of their inputs.
We then show that neural networks learn from the higher-order cumulants (HOCs) more efficiently
than lazy methods, and show how HOCs shape the learnt features.
We finally characterise the distributions that are learnt by single- and multi-layer transformers,
and discuss implications for designing efficient transformers.
--------------------------------------------------------------------------------------------