lossがinfになることについて

522 views
Skip to first unread message

y.kento....@gmail.com

unread,
Dec 23, 2015, 8:30:19 AM12/23/15
to Chainer Japanese User Group
こんにちは。
Chainerを使わせていただいています。
入力層6、中間層30、中間層30、出力層17の多クラス分類を行っています。
中間層の活性化関数はrelu、誤差関数はsoftmax_cross_entropyを用いています。入力は、0から1までの数値(0,0,0,0.25,0.5,0.75など)で、教師は0から17までの整数値です。
学習を進めていくと、たまにlossがinfとなります。
softmaxのソースコードの中に、オーバーフローしないための対策がなされています。
なので、対策した上でinfになる原因、その他の対策があれば教えてください。
よろしくお願いします。

Yuya Unno

unread,
Dec 23, 2015, 10:36:35 PM12/23/15
to kento yamamoto, Chainer Japanese User Group
infやnanは様々な理由で発生するため、一概に原因は特定できません。
純粋に(?)発散している時でもinfになりえます。
細かくprint文を入れるなどして発散していないか確認してみてください。

ちなみに、chainerのバージョンや、optimizerは何を使っていますか?


2015年12月23日 22:30 <y.kento....@gmail.com>:

--
このメールは Google グループのグループ「Chainer Japanese User Group」に登録しているユーザーに送られています。
このグループから退会し、グループからのメールの配信を停止するには chainer-jp+...@googlegroups.com にメールを送信してください。
このグループに投稿するには chain...@googlegroups.com にメールを送信してください。
このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/chainer-jp/71d721d7-da72-4b6d-ba5a-d7de320cb4df%40googlegroups.com にアクセスしてください。
その他のオプションについては https://groups.google.com/d/optout にアクセスしてください。

Reply all
Reply to author
Forward
0 new messages