lime_batch.pyのセグメンテーション

[Koki]

NNCプラグインのLIME処理を実施しています。

単体のLIME処理は問題なさそうな出力結果だったのですが、LIME(batch)の結果があまりよくありません。

LIME(batch)を実施すると(num_segments=9の場合)、バッチ処理に用いたすべての画像が、縦横に等間隔に3分割(9個の正方形)で分割され、そのうちnum_segments_2で指定した数のセグメント箇所が色がついているような状況です。色がついている場所は画像によってまちまちです。

根本的な使い方が間違えているのかもしれないのですが、デフォルトの設定で動作はするようになっているのでしょうか？(上記症状はデフォルトの設定でLIME(batch)を実施した結果です。)

以下、専門外の人間が勝手に分析しただけなのですが...

ソースコード(lime_batch.py)を確認させてもらうと、109行目の以下のコードで、im[0]で画像のRチャンネルだけを対象にセグメンテーションを行っているように思えます。(間違っていたらすいません。)

slic = skimage.segmentation.slic(im[0], n_segments=args.num_segments)

どうやら、カラー画像の1チャンネルだけでセグメンテーションを行うと滑らかに分割が行われないようでこれが原因でないかと踏んでいます。

ひとまず応急処置として以下のコードに書き換えましたが、これで実行すると127行目でエラーが出てしまい、ここで力尽きました。

im = im.transpose(1,2,0)

slic = skimage.segmentation.slic(im, n_segments=args.num_segments)

そもそも根本的なところで使い方から間違えているかもしれないのですが、対処方法わかる方おられましたらご教授ください！

よろしくお願いいたします。

[Kenji Suzuki]

ソニーグループの鈴木健二です。

貴重なご指摘ありがとうございます。

修正したコードをリリース致しました。GitHubにコードを公開しておりますので、NNC内へ入れてアップデートされてください。

https://github.com/sony/nnc-plugin

修正箇所の詳細は、こちらをご覧ください。
https://github.com/sony/nnc-plugin/pull/29/files

2021年7月2日金曜日 17:35:22 UTC+9 Koki:

[daizu]

鈴木様

便乗での質問をお許しください。

https://github.com/sony/nnc-plugin/tree/main/samples/xai

　こちらでの

resnet-110-attention-branch-network.sdcpro　をダウンロードしたのですが、Neural network console で読み込ませることができません。

neural network console cloud へのアップロードも試みましたが、プロジェクトのフォーマットが正しくありません、との表示がでて失敗してしまいます。

attention branch networkに非常に興味をもっておりまして是非使わせて戴きたいと思っております。

御回答戴ければ幸いです。

2022年3月2日水曜日 22:10:01 UTC+9 ks2...@gmail.com: