重み付き編集について

[後藤和也]

Ver2.00をりようしていますが、

Open in EDIT Tab with WeightやCreate Training Resultを利用する際、パラメータのロード時間がかなり遅いように感じます。

Create Training Resultに至っては、実際に学習する時間より長くかかっても終わらないことが有ります。

学習が15分程度で終わるネットワークで、Weightを読み込みCreate Training Resultを開始して30分ほど待ちましたが、Result生成が始まりませんでした。

とりあえず、一つ前のバージョンで同様のことを行った場合は、気になったことがなかったので、できれば旧バージョンで今回のネットワークを試してみたいのですが・・・ダウンロードできる場所がなさそうです。

[Kazuya Goto]

1.90が入手できたので試してみましたが、残念ながら変わりはありませんでした。

Create Training
Resultにどれぐらいかかるか確認するために放置してみたところ、1時間強で終了していました。（100epoch学習させた場合は、15分程度です。）

確かにパラメータのファイルサイズは少し大きい（4GB、2.4GB程度のWファイルあり）ですが、
読込に学習以上の時間がかかる理由がわかりません。

結果確認用のネットワーク構成をいろいろ試したいのですが、
都度学習することになるので、大変効率が悪い状態です。

何か回避策があれば、ご教授ください。

2021年3月19日(金) 16:53 後藤和也 <kazuy...@imao.biz>:

> --
> このメールは Google グループのグループ「Neural Network Console Users (JP)」に登録しているユーザーに送られています。
> このグループから退会し、グループからのメールの配信を停止するには neural_network_consol...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/neural_network_console_users_jp/6576e265-3405-4758-9513-3af53dcbe179n%40googlegroups.com にアクセスしてください。

[後藤和也]

残念ながら、2.10でも同じでした。

以下、Create Training Result実行時のログです。

```

2021-05-26 10:29:30,336 Training process is started.

python "C:\Sony NNC\neural_network_console_210\libs\Python\Lib\site-packages\nnabla\utils\cli\cli.py" train

-c "C:\nnc_project\whole\whole.files\20210526_102930\net.nntxt"

-p "C:\nnc_project\whole\whole.files\20210526_102930\initial_parameters.h5"

-o "C:\nnc_project\whole\whole.files\20210526_102930"

2021-05-26 14:06:28,728 [nnabla]: [CALLBACK]: Exec NNabla on local

2021-05-26 14:06:30,150 [nnabla]: Using context "Context(backend=['cudnn:float', 'cuda:float', 'cpu:float'], array_class='CudaCachedArray', device_id='0')"

2021-05-26 14:06:41,978 [nnabla]: Train with contexts ['cpu', 'cuda', 'cudnn']

2021-05-26 14:06:41,978 [nnabla]: 0 epoch learning. (Just save parameter.)

2021-05-26 14:07:04,885 [nnabla]: Training Completed.

NNabla command line interface (Version:1.19.0.dev1, Build:210412014546, Callback:NNabla SSH callback module.)

```
パラメータを読み込んで、実際に実行するまでに、約3時間半かかっています。
実行中のダイアログを見る感じでは、パラメータのtxtファイル読み込み（in 1024, out 3, 400, 300のAffineのW）で時間がかかっているようです。

何か対処できることはありますか？

2021年3月22日月曜日 14:51:06 UTC+9 kaa...@gmail.com:

[fri...@gmail.com]

パラメータサイズが3x400x400x1024=491Mパラメータと巨大になっていることから、現状の実装の都合上読み込みに時間を要しているようです。
491Mパラメータというのは 1台のGPUで学習する程度のネットワークの1層分のパラメータとしてはかなり巨大ですのですがどのような目的のどのようなネットワークでしょうか？

1台のGPUで学習する範囲のネットワークですと、1層のパラメータを数M～数十Mに抑え多層化するように構成されると性能も合わせて向上できる可能性があります。

[Kazuya Goto]

frieveaさん、ご回答ありがとうございます。

該当のレイヤーは、オートエンコーダのデコード部分です。

セオリー的には、Deconvolutionして解像度を上げていくのだと思いますが、その場合得られた画像がボケてしまったことから、中間層から直接画像化を試したものです。
並行して、Deconvolutionするネットワークも再度試してみようと思います。

実装として、計算済みパラメータの再配置に、実際の学習より時間がかかってしまうイメージがわかなかったので、何かしら顕在化していない不具合があるかも？と考え、お知らせしました。

2021年6月8日(火) 17:20 fri...@gmail.com <fri...@gmail.com>:

> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/neural_network_console_users_jp/e04a30dd-99bb-4ff8-8bd4-600a9f36b174n%40googlegroups.com にアクセスしてください。