VOC2012データセットを用いて複数クラスを検出する領域分割モデルの作成

[Neural Network Console Beginner]

初めまして、ニューラルネットワークコンソールを使用させていただいて2か月ほどたち、マニュアルなどを参考にいくつかの学習モデルを作成させていただきました。

直観的で使いやすく、知識が乏しい当グループのメンバもお試し感覚で次はこういったモデルを作ってみたいと様々な意見が飛び交っております。

タイトルのことについてお聞きします。

現在、セマンティックセグメンテーションのモデルを作成しようとしていて、ひとまずデータセットとしてPASCAL VOC2012のデータセットをダウンロードしました。

図1.VOC2012のデータセットにある入力データと教師データの例

このデータセットでは教師データはインデックスカラーを用いたPNG画像で作成されており、各ピクセルはインデックス番号をもち、その番号がクラスを表すことになっているようです。

図2.カラーマップ

図2のカラーマップのインデックス番号とクラスは以下のような対応をしているようです。

0 :背景

1 :飛行機

2 :自転車

3 :鳥

…つづく

20:テレビ・モニター

21以降:特に意味なし

図1の教師データでは電車部分のピクセルはインデックス番号:19が割り当てられているようです。

NNCにて複数物体を区別して認識するためには以下のマニュアルの16P

PowerPoint プレゼンテーション (sony.com)

を参考にしてモノクロの教師画像内の物体に輝度値を分け、マニュアル28Pに従って

最後の畳み込み層のOutMapsを256にする旨理解しましたが、

ダウンロードしたデータセットの教師データを、上記マニュアルのやり方に従って輝度値の違いでクラス分けした画像にコンバートするのは現実的には不可能です。

複数物体の認識に、教師データの輝度値ではなくインデックス番号で学習モデルを作成するにはどうしたらよいでしょうか。

同様の質問をした方のページもしくは解説がされているマニュアルなどがありましたら教えていただけますでしょうか。

ニューラルネットワークについて学習を始めたばかりの身ですので見当違いの表現などありましたら申し訳ありません。

ご教授をお願いします。

[秋雪]

ローカル環境（Windowsアプリ版のバージョン2.1.0）にて途中までの処理しかしていませんが、下記の手順で大丈夫だと思います。

※過去の投稿検索していないので、既にアップされていたらご容赦願います。

１．PASCAL VOC2012のデータセット（tarファイル）を未だ入手していない場合

1－1．binary_semantic_segmentation サンプルプロジェクトの「コンフィグ」を開き

　「プロジェクト説明」のデータセット（オリジナル：CharacterExtraction）を下記に書き換える。

　dataset-require=PASCALVOC2012_Segmentation

1－2．上記の後、ホームからプロジェクトを開き直して、「このプロジェクトは...データセットのダウンロードを要求しています。実行しますか？」にて「はい」を実行。

２．既にtarファイルを入手している場合

２－１．上記1-1の「コンフィグ」書き換えを行って、自動ダウンロードするのは「キャンセル」し、

２－２．neural_network_console\samples\sample_dataset\PASCALVOC2012_Segmentation内に「VOCtrainval_11-May-2012.tar」ファイルを移動

２－３．上記フォルダ内の「create_pascal_voc_2012_segmentation_csv.py」にて

２－３－１．

　86行目の下記をコメントアウト

　#dataset_file = download("http://host.robots...

２－３－２．

　90行目の下記を

　tar_file = tarfile.open(fileobj=dataset_file)

　下記に書き換え

　tar_file = tarfile.open(name="VOCtrainval_11-May-2012.tar",mode="r")

2－3－3．ホームに戻り、プロジェクトを開き直して、「このプロジェクトは...データセットのダウンロードを要求しています。実行しますか？」にて「はい」を実行。

以上の処理にて、NNC専用のVOC2012データセットに変換されます。

ちなみに、インデックス番号:19のラベル画像は下記のようになり、電車部分のグレースケールが19になっていました。

2021年10月13日水曜日 15:00:44 UTC+9 Neural Network Console Beginner:

[秋雪]

先ほどの投稿にて「1」の手法は止めた方が良いかも知れません。

当方、下記と同じエラーが発生し、直後から1時間程度以上、「接続を拒否(ERR_CONNECTION_REFUSED)」されています。

https://groups.google.com/g/neural_network_console_users_jp/c/7NdM8XcmfQg/m/opQdA3pqAwAJ

https://groups.google.com/g/neural_network_console_users_jp/c/gYuRef79FLE/m/KQhwaJDhBQAJ

※tracertにて最初は「ターゲット システム名 host.robots.ox.ac.uk を解決できません。」だったのですが、1時間経過後「DNS名前解決」とトレースの途中までできる程度に回復しています。

ただし、ブラウザからのアクセスでは、依然「接続を拒否」となります。

当方、以前に別にブラウザ経由で、直接サイトにアクセスし、正規の手順を踏んでダウンロードしたtarファイルがあったので、「2」の手法を利用可能でした。

2021年10月17日日曜日 19:31:33 UTC+9 秋雪:

[秋雪]

上記状況は、現時点で、全く別の回線からの直接tracertおよびブラウザからのアクセスにて再現されており、oxford-university.ja.netまでは到達するものの、そこから先はtracertでタイムアウトとなります。

ネットトラフィックの問題（世界中の皆がVOCデータ求めてアクセスしている？）のかも知れません。

念のため「コンフィグ」での自動ダウンロードで呼び出されるであろう、nnabla内の下記download.pyを確認しました。

neural_network_console\libs\Python\Lib\site-packages\nnabla\utils

どのように動作しているか確認することができ、勉強になりました。

2021年10月17日日曜日 19:54:59 UTC+9 秋雪:

[秋雪]

tracert の結果は同じですが、現時点でブラウザから下記URLに接続できることを確認しました。（時々繋がりが悪くなるようです）。

トップページは

http://host.robots.ox.ac.uk/pascal/VOC/

で、voc2012は

http://host.robots.ox.ac.uk/pascal/VOC/voc2012

このポイントからtarデータのダウンロードは可能です。

上記URLのページ中央部

「Development Kit」の下記項目が目的となる「http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar」になります。

Download the training/validation data (2GB tar file)

2021年10月18日月曜日 3:15:01 UTC+9 秋雪:

[Neural Network Console Beginner]

秋雪様

ご回答いただきありがとうございます！

NNCでは教師データは同じ画像サイズかつ、輝度でしかクラスわけできないだろうからVOC2012データセットでは多分ダメなんだろうな・・・とあきらめかけていたところだったのですが
大変助かりました。

現在在宅勤務中で、明日、出社して学習用PCを直接触れるので試してみます。

実は運がよく、すでにVOC2012のデータセットはダウンロード済み（しかしおっしゃるとおり後日ダウンロードしようとしてもできなかった記憶です）ですので

86行目の下記をコメントアウト

　#dataset_file = download("http://host.robots..

２－３－２．

　90行目の下記を

　tar_file = tarfile.open(fileobj=dataset_file)

　下記に書き換え

　tar_file = tarfile.open(name="VOCtrainval_11-May-2012.tar",mode="r")

を試してみます。

重ね重ね申し上げますが本当に助かりました。

今後も当サイトでの秋雪様のコメントを参考にさせていただきます。

2021年10月19日火曜日 2:28:46 UTC+9 秋雪: