3.3. ニューラルネットワークの最適化

[inukichii]

公開されている資料を読ませていただいております。

3.3. ニューラルネットワークの最適化の解説の最後の部分で、SGDを用いることで

「“ほとんど確実に”局所最適解に収束することが知られています」と記してありますが、

「“ほとんど確実に”大域最適解に収束することが知られています」ではないでしょうか？

[sug...@gmail.com]

返信が遅くなりました．

目的関数が非凸関数である場合，大域最適解を求めるのは簡単ではなく，SGD等を用いることで局所最適解に収束していきます．（パラメータの初期値によっては，得られた局所解が大域解と一致することはあります．）

ニューラルネットワークも，一般的に目的関数は非凸となっており，局所最適解に収束することが知られています．

近年，大きなネットワーク構造を持つ（or 特定の条件を満たす）ニューラルネットワークの局所最適解は大域的最適解と同一である，という研究も幾つか報告されてきていますが，

未だ議論中の研究テーマであり，現時点では結論が出ていないという認識です．

参考論文：

1. The loss surface of deep and wide neural networks (https://arxiv.org/abs/1704.08045)

2. A Convergence Theory for Deep Learning via Over-Parameterization (https://arxiv.org/abs/1811.03962)

2019年1月4日金曜日 18時10分59秒 UTC+9 inukichii:

[inukichii]

ご回答いただきありがとうございました。

以前読んだ本(Python Machine Learning, 2nd Editionの翻訳本)でSGDでは大局的最適解に近づけると理解していたもので、質問させて頂きました。

今後の学習の参考にさせていただきます。