入力画像の暙準化に぀いお

778 views
Skip to first unread message

wiz

unread,
Aug 27, 2021, 10:32:11 PM8/27/21
to Neural Network Console Users (JP)

Resnet等のサンプルプロゞェクトを芋るず、Inputレむダヌの埌にMulScalarレむダヌずAddScalarレむダヌが接続されおいたす。

画玠倀の暙準化のためずいう認識ですが、暙準化は䞀般に(Ό)σで行われるず思いたす。

暙準化したい倀、Ό党画像における画玠倀の平均倀、σ党画像における画玠倀の暙準偏差

 

サンプルプロゞェクトでは先にMulScalarが来おいるので、画玠倀蚈算がσΌになっおしたうず感じるのですが問題ないのでしょうか。

AddScalarにはΌσの倀を入れおいるのでしょうか。

秋雪

unread,
Sep 16, 2021, 10:24:04 PM9/16/21
to Neural Network Console Users (JP)
この郚分は、ややこしいようですね。

正芏の説明を䞋蚘に芋぀けたした。
䞊蚘スラむドの13
  ※1 0.01735はImageNetの画像デヌタの茝床の暙準偏差の逆数、1.99は茝床の平均倀になりたす。入力画像に察しお暙準偏差の逆数倍をし、平 均倀を枛算するこずで、入力画像のピクセル倀を平均0、分散1に正芏化するこずができたす。
ずのこずです。

2021幎8月28日土曜日 11:32:11 UTC+9 wiz:

秋雪

unread,
Sep 17, 2021, 5:27:30 AM9/17/21
to Neural Network Console Users (JP)
この郚分、過去に䞋蚘のトピックで取り䞊げられおいたようです。䞋蚘URLも参考にしお芋お䞋さい。
2021幎9月17日金曜日 11:24:04 UTC+9 秋雪:

wiz

unread,
Sep 17, 2021, 9:44:09 PM9/17/21
to Neural Network Console Users (JP)
耇数の資料をご提瀺いただきありがずうございたす。
やはり察象の党画玠の平均倀を枛算し、暙準偏差の逆数倍をするこずで暙準化が可胜ずいうこずが再確認できたした。

それを螏たえ圓初の疑問に立ち返るのですが、
䞀぀目にご提瀺いただいた資料では、
「入力画像に察しお暙準偏差の逆数倍をし、平均倀を枛算するこずで」ずあり、

二぀目にご提瀺いただいた過去蚘事では、
「同様の凊理をご自身のデヌタセットで行うには、同様に党画玠で平均ず分散を求め、平均を匕き、暙準偏差で割るずよいかず思いたす。」ずありたす。
文章通り受け通るならば枛算ず逆数倍の順番が逆になっおいたす。

この順番の違いにより蚈算結果に違いが生じるため先に暙準偏差の逆数倍を行うず蚈算結果においお平均0、暙準偏差1にならない、
サンプルプロゞェクトの蚭定に問題はないかずいう疑問でした。
ただ、おそらくこのサンプルプロゞェクトを利甚し目的のタスクを達成されおいる方がたくさんいらっしゃるず思いたすので
実際には問題はないのだず考えたすがなぜ問題ないかがお分かりでしたらご教瀺いただけたすず幞いです。
匕き続きよろしくお願い臎したす。

2021幎9月17日金曜日 18:27:30 UTC+9 秋雪:

秋雪

unread,
Sep 19, 2021, 4:51:51 AM9/19/21
to Neural Network Console Users (JP)
wiz様

を参照された方が良いかも知れたせん。
あるいは小林由幞様などのスタッフ()の方からのアドバむスを埅たれた方が宜しいかも知れたせん。

私は扱うデヌタセットのサむズなどから
 tutorial.basics.12_residual_learning
を䞻に䜿っおいるのず、ResNetでのデフォルトずなっおいるImageNetクラスの画像をダりンロヌドするだけのストレヌゞがないので、䞊蚘URLにあるように該圓郚分を削陀しお䜿っおいたす。

※恐らくImageNetのデヌタを䜿う堎合に必芁な倉換操䜜でしょうから、その他のデヌタを䜿う堎合には、削陀しお䜿うか、アレンゞするべき箇所になるのだず「勝手に」思っおいたす。

今のずころ、
を参考に
dataset-require=CIFAR10
等の小さなサむズのデヌタを䜿っお、
 tutorial.basics.12_residual_learning
からの移行を探っおいるずころですが、該圓郚分削陀するだけで、問題無く皌動するようです。


2021幎9月18日土曜日 10:44:09 UTC+9 wiz:

秋雪

unread,
Sep 19, 2021, 11:15:28 AM9/19/21
to Neural Network Console Users (JP)
wiz様

ResNet-18にお、暙準化・拡匵argumentationプロセス郚分を削陀し、Cifar-10デヌタ32x32の画像サむズず出力数10に合わせただけで、他のパラメヌタを觊っおいない状況での結果を添付しおおきたす。
resNet-Delete-Results.PNG
resNet-Delete.PNGresNet-Delete-Leaning.PNG
2021幎9月19日日曜日 17:51:51 UTC+9 秋雪:

wiz

unread,
Sep 23, 2021, 12:50:23 AM9/23/21
to Neural Network Console Users (JP)
秋雪様

ご返信ありがずうございたす。

仰る通り今回の疑問はサンプルプロゞェクトの蚭蚈に関するこずでもあるず思いたすので、公匏の方のご回答を埅ちたいず思いたす。


䜙談ですが、私は珟圚オリゞナルのデヌタ画像デヌタを䜿甚しお孊習を行う際は、
暙準化の代わりにMulScalarレむダヌを甚いたシンプルな正芏化を甚いおおりたす。
Inputレむダヌの埌にMulScalarレむダヌを挿入し階調数の最倧倀で割る
秋雪様が仰る通り該圓郚分をアレンゞしおいるず蚀えるかもしれたせん。

2021幎9月20日月曜日 0:15:28 UTC+9 秋雪:

小林由幞

unread,
Jan 13, 2022, 4:56:09 AM1/13/22
to Neural Network Console Users (JP)
Resnetのサンプルプロゞェクト等におけるネットワヌクの冒頭の、MulScalar+AddScalarレむダヌによる正芏化凊理は、
(xΌ)/σを展開しおx/σ - ÎŒ/σずし、x/σ郚分をMulScalarにお、- ÎŒ/σ郚分をAddScalarで蚈算しおいるこずになりたす。

もちろん(xΌ)/σのたた先にAddScalarレむダヌで元のたたの平均を匕き、MulScalarレむダヌで分散で割っおも問題ありたせん挔算誀差を考慮しなければ党く同じ出力ずなりたす。

2021幎9月23日朚曜日 13:50:23 UTC+9 wiz:
Reply all
Reply to author
Forward
0 new messages