入力画像の標準化について

[wiz]

Resnet等のサンプルプロジェクトを見ると、Inputレイヤーの後にMulScalarレイヤーとAddScalarレイヤーが接続されています。

画素値の標準化のためという認識ですが、標準化は一般に(ｘ－μ)／σで行われると思います。

（ｘ：標準化したい値、μ：全画像における画素値の平均値、σ：全画像における画素値の標準偏差）

 

サンプルプロジェクトでは先にMulScalarが来ているので、画素値計算が（ｘ／σ）－μになってしまうと感じるのですが問題ないのでしょうか。

AddScalarには－μ／σの値を入れているのでしょうか。

[秋雪]

この部分は、ややこしいようですね。

正規の説明を下記に見つけました。

https://support.dl.sony.com/wp-content/uploads/sites/2/2017/11/06013321/sample_network_explanation_Image-Classification.pdf

上記スライドの＃13

  ※1 0.01735はImageNetの画像データの輝度の標準偏差の逆数、1.99は輝度の平均値になります。入力画像に対して標準偏差の逆数倍をし、平 均値を減算することで、入力画像のピクセル値を平均0、分散1に正規化することができます。

とのことです。

2021年8月28日土曜日 11:32:11 UTC+9 wiz:

[秋雪]

この部分、過去に下記のトピックで取り上げられていたようです。下記URLも参考にして見て下さい。

https://groups.google.com/g/neural_network_console_users_jp/c/8W_394Cp5As/m/3FzcyXiiAwAJ

2021年9月17日金曜日 11:24:04 UTC+9 秋雪:

[wiz]

複数の資料をご提示いただきありがとうございます。

やはり対象の全画素の平均値を減算し、標準偏差の逆数倍をすることで標準化が可能ということが再確認できました。

それを踏まえ当初の疑問に立ち返るのですが、

一つ目にご提示いただいた資料では、

「入力画像に対して標準偏差の逆数倍をし、平均値を減算することで～」とあり、

二つ目にご提示いただいた過去記事では、

「同様の処理をご自身のデータセットで行うには、同様に全画素で平均と分散を求め、平均を引き、標準偏差で割るとよいかと思います。」とあります。

文章通り受け通るならば減算と逆数倍の順番が逆になっています。

この順番の違いにより計算結果に違いが生じるため（先に標準偏差の逆数倍を行うと計算結果において平均0、標準偏差1にならない）、

サンプルプロジェクトの設定に問題はないかという疑問でした。

ただ、おそらくこのサンプルプロジェクトを利用し目的のタスクを達成されている方がたくさんいらっしゃると思いますので

実際には問題はないのだと考えますがなぜ問題ないかがお分かりでしたらご教示いただけますと幸いです。

引き続きよろしくお願い致します。

2021年9月17日金曜日 18:27:30 UTC+9 秋雪:

[秋雪]

wiz様

http://cedro3.com/ai/mini-resnet/

を参照された方が良いかも知れません。

あるいは小林由幸様などのスタッフ(？)の方からのアドバイスを待たれた方が宜しいかも知れません。

私は扱うデータセットのサイズなどから

 tutorial.basics.12_residual_learning

を主に使っているのと、ResNetでのデフォルトとなっているImageNetクラスの画像をダウンロードするだけのストレージがないので、上記URLにあるように該当部分を削除して使っています。

※恐らくImageNetのデータを使う場合に必要な変換操作でしょうから、その他のデータを使う場合には、削除して使うか、アレンジするべき箇所になるのだと「勝手に」思っています。

今のところ、

https://groups.google.com/g/neural_network_console_users_jp/c/zX8jlO0Btlg

を参考に

dataset-require=CIFAR10

等の小さなサイズのデータを使って、

 tutorial.basics.12_residual_learning

からの移行を探っているところですが、該当部分削除するだけで、問題無く稼動するようです。

2021年9月18日土曜日 10:44:09 UTC+9 wiz:

[秋雪]

wiz様

ResNet-18にて、標準化・拡張（argumentation）プロセス部分を削除し、Cifar-10データ（32x32）の画像サイズと出力数（10）に合わせただけで、他のパラメータを触っていない状況での結果を添付しておきます。

2021年9月19日日曜日 17:51:51 UTC+9 秋雪:

[wiz]

秋雪様

ご返信ありがとうございます。

仰る通り今回の疑問はサンプルプロジェクトの設計に関することでもあると思いますので、公式の方のご回答を待ちたいと思います。

余談ですが、私は現在オリジナルのデータ（画像データ）を使用して学習を行う際は、

標準化の代わりにMulScalarレイヤーを用いたシンプルな正規化を用いております。

（Inputレイヤーの後にMulScalarレイヤーを挿入し階調数の最大値で割る）

秋雪様が仰る通り該当部分をアレンジしていると言えるかもしれません。

2021年9月20日月曜日 0:15:28 UTC+9 秋雪:

[小林由幸]

Resnetのサンプルプロジェクト等におけるネットワークの冒頭の、MulScalar+AddScalarレイヤーによる正規化処理は、
(x－μ)/σを展開してx/σ - μ/σとし、x/σ部分をMulScalarにて、- μ/σ部分をAddScalarで計算していることになります。

もちろん(x－μ)/σのまま先にAddScalarレイヤーで元のままの平均を引き、MulScalarレイヤーで分散で割っても問題ありません（演算誤差を考慮しなければ全く同じ出力となります）。

2021年9月23日木曜日 13:50:23 UTC+9 wiz: