途中で止めた学習を再開する方法 (初心者)

[Yasu T]

始めて投稿(質問)します。

Trainingを途中でストップした場合の再開方法はあるのでしょうか。

進行中の学習のepochを増やすために、いったんストップし、CONFIG画面でMax epochを増やしたのですが、学習途中のタスクが再開できません。

再開する方法はないのでしょうか。

ACTIONのプルダウンメニューには、Resume Scheduled Task はありますが、Resume Incomplete Task のようなメニューがありません。

また、Scheduled Taskを設定した後に、Resume Scheduled Taskを選択し、一旦Trainingを開始すると、これをストップしても、Resume Scheduled Taskのメニューは灰色になって選択できなくなります。

因みに、Trainingの▷のアイコンを押すと、新たなTrainingが始まってしまいます。

ご教示、よろしくお願いします。

[Yasu T]

ひょっとしたら、自己解決したことになるのかもしれませんが、以下の操作で、実質的にIncomplete taskの再開&Max epoch完了と同じ効果が得られるのでしょうか。

Incomplete taskを選択し、ACTIONのプルダウンメニューから Open in EDIT Tab with Weight を選択して実行する。

前回実行時に未了となっているepoch数と同等のepochが実行された時点で終了する。

如何でしょうか。

2018年6月20日水曜日 14時55分31秒 UTC+9 Yasu T:

[小林由幸]

はい、「Open in EDIT Tab with Weight」で中断時のパラメータを読み込んだ上で
学習を実行することで、中断された学習を再開することができます。

この際、以下の点にご注意ください。

・「Open in EDIT Tab with Weight」で読み込まれるパラメータは、
CONFIGタブでSave Bestにチェックが入っている場合、評価で最もロスの小さかった
epoch時に保存されたパラメータである（中断時の最終epochではない）

・CONFIGタブ、OptimizerでSGD以外のUpdaterを選択されている場合、
Updaterの持つ状態は保存されない
（ただし、実験的にはこれらの状態が保存されないことによる悪影響はほとんどない）

より容易な再開については今後の機能改善を検討させていただければと思います。