ユニット数と中間層の学習率との関係について

[daiki fukunaga]

お世話になっております．

ユニット数と中間層の学習率との関係について疑問が生じたので質問させてください．

私は中間層が同じ数の場合，ユニット数が多くなれば，ユニット数が少なかった時に学習できなかった問題でも，学習できるようになると考えていました．

しかし，実際にプログラムを実行してみると，ユニット数が少数の場合，学習は可能で，ユニット数のみを5倍に増やすと学習できないというケースが出てきました．

このときの学習回数はユニット数を増やした方はユニット数が少数よりも5倍ほど多く学習させました．

このような事が起こる原因は何でしょうか？

また，学習できない問題があった場合はユニット数を多くすることで学習できる問題もあれば，ユニット数を少なくすることで学習できる問題もあるという理解でよろしいでしょうか？

説明の至らない部分あると存じますが，ご教授のほど何卒よろしくお願いいたします．

[Kenta Oono]

大野です

学習できないというのは訓練データでの損失が下がらない（underfitしている）のと、

訓練データでは損失が下がるけれどテストデータでは下がらない（過学習をしている）のと、

どちらかによって対策は変わってくると思います。

一般に中間層を大きくするなど、学習モデルのパラメータを増やすと、過学習をしやすくなります。

今回の問題が過学習ならば、それが起こるのは不思議ではないと思います。

逆にunderfitする可能性もあります。層を深くすると、最適化すべき関数が複雑になり、

既存の最適化手法（SGDなど）では十分に最適化しきれず、訓練データでも損失を減らせていないのかもしれません。

過学習に関しては、dropout, BatchNormalizationなど強い正則化をかける、data augmentationをして訓練データを増やす、

学習モデルのパラメータを減らすなどの対策が考えられます。underfitに関しては、最適化アルゴリズムのパラメータを

チューニングするなどの方法が考えられます。

2016年1月13日水曜日 14時35分34秒 UTC+9 daiki fukunaga:

[daiki fukunaga]

大野様

丁寧に教えていただきありがとうございます．

私どもの場合はunderfitの場合なので最適化手法の調整を進めていこうと思います．

続けての質問で申し訳ないのですが，もしこのようなunderfitが起きた場合，

適化アルゴリズムのどのようなパラメータをチューニングすればよろしいでしょうか？

大変お忙しい中恐縮ですが，ご教授のほど何卒よろしくお願いいたします．

2016年1月14日木曜日 13時27分54秒 UTC+9 Kenta Oono:

[Kenta Oono]

大野です

> 続けての質問で申し訳ないのですが，もしこのようなunderfitが起きた場合，

> 適化アルゴリズムのどのようなパラメータをチューニングすればよろしいでしょうか？

基本的には様々なハイパーパラメータの組み合わせで実験して、

良いハイパーパラメータを見つけるという方法になると思います。

最適化アルゴリズムごとにハイパーパラメータがあるのですが、

学習率に対応するパラメータの調整が一番良く効くことが多く

例えば自分は0.01, 0.1, 1.0...と試して、学習率のオーダーを決めたりします。

ニューラルネットの学習のチューニングに関してはBengio氏の以下の論文が詳しいです

http://arxiv.org/abs/1206.5533

2016年1月14日木曜日 17時48分59秒 UTC+9 daiki fukunaga:

[daiki fukunaga]

大野様

ハイパーパラメータの存在を教えていただきありがとうございます．

自分なりにチューニングを行っていこうと思います．

また，論文を紹介していただきありがとうございます．

こちらの論文も参考して調整していこうと思います．

2016年1月15日金曜日 22時20分39秒 UTC+9 Kenta Oono: