kocrへのアルファベットモデル追加作業

[shigeru....@gmail.com]

奥村先生

お世話になります。リクルートテクノロジーズの塩澤と申します。
現在、手元のデータを使用し、アルファベット用のCNNモデルの開発を進めています。
kocr の既存CNN文字認識モデル
・cnn-mbscpn
・cnn-num
・cnn-num-mbscpn
に加えて、アルファベット用認識モデル
・cnn-alpha_upper
の追加を検討しております。
現時点では、大文字のアルファベットを対象として進めており、
既存の他のCNNモデルと異なるネットワークモデルを使用して検証中です。
（仕様等は別途確認させていただく予定）
今後、認識精度の検証を行う為に、実際の仕様に沿ったアルファベットのテスト用
イメージデータをいくつか頂戴したいと考えておりますが、可能でしょうか？
お手数をおかけしますが、どうぞ、宜しくお願い致します。

[Takashi Okumura]

ご投稿、有難う御座いました。はじめまして。

たしかに、認識精度の管理のために、fax経由で受信したアル
ファベットの切り出し済み画像を用意する必要がありますね…。

添付のような形で、画像収集用の調査票を簡単に設計し、それを
評価用VMに向けてファックス送信しまくると集まります。ただ、
セッティングに少し時間を要します。レンタルしているFaxサーバ
は別用途に使っているため、もう1契約、レンタルする必要もあり
ます。(1000円/月、くらいで済みますが。)

少し調整のお時間を頂けますか。

また、もし、上記のタスクを引き受けても良いよと仰って下さる
方がおられれば、ご一報くださいませ。＞各位
新コロ対策で、FaxOCRを活用する可能性がでておりまして。

何卒宜しくお願い申し上げます。


奥村 貴史

> --
> このメールは Google グループのグループ「faxocr」に登録しているユーザーに送られています。
> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/8044988e-4dc0-4baf-8be1-0162e19506a6%40googlegroups.com にアクセスしてください。

[Masakazu Nakano]

ご無沙汰しております　なかのです。

scansnap を持っておりますので、当方までご郵送いただければ、スキャン取りできます。

IrfanvIew辺りで、300dpiまで落とすとほぼエミュレーションできるかと存じます。

IP電話のゲートウェイ（FXS）とFAX装置があれば、asteriskでなんとか取れるかもです。

後はFAXIMO辺りでTIFF画像データになるかなあと思います。

https://www.dororo.jp/

いかがでしょうか？

なかの

2020年3月9日(月) 17:26 Takashi Okumura <ta...@wide.ad.jp>:

このメールは Google グループのグループ「faxocr」の登録者に送られています。
このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
このディスカッションをウェブ上で閲覧するには、https://groups.google.com/d/msgid/faxocr/CAD%2B%2BZrdR8v%2BeQUPrSCQ3eHcYRq3eepL1kroodXWLg8mf8-%2BEiA%40mail.gmail.com にアクセスしてください。

--

--- keep it bass,keep it drum.

ubuntu server 14.04 + nginx + mysql + ISPConfig3 + dovecot + postfix + bigbluebutton + Freeswitch + FusionPBX + moodle ( + Blender + Cinelerra + Synfig + openEMR )

[Masakazu Nakano]

これは余談ですが、

先日の台風19号で広域避難場所（横浜、関内で「みなと高校」でした））へ避難してきました。

freeofficeという無料のオフィススイートが、とても良くできているのでご紹介します。
＃　Libreoffice等のforkではありません。
  https://www.freeoffice.com/ja/

中古のノートPCさえ手に入れば、
Arch linuxな Manjaro linux dist.を使うと、とても簡単に導入できます。
https://manjaro.org/

android版は、設定画面はPCと全く同じで、UIのフォント設定を英語にし、
セルのフォントを日本語とすれば普通に使えます。

広域避難場所が学校である場合、00000japan は、ほとんど期待できないのが実情のようですね。

wineを使いたいのであれば、

avlinux 辺りを動かすのが、かなりハードルが低いですし、いろいろ楽しめます。

http://www.bandshed.net/avlinux/

ご参考ください。

なかの

2020年3月9日(月) 17:26 Takashi Okumura <ta...@wide.ad.jp>:

ご投稿、有難う御座いました。はじめまして。

このメールは Google グループのグループ「faxocr」の登録者に送られています。
このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
このディスカッションをウェブ上で閲覧するには、https://groups.google.com/d/msgid/faxocr/CAD%2B%2BZrdR8v%2BeQUPrSCQ3eHcYRq3eepL1kroodXWLg8mf8-%2BEiA%40mail.gmail.com にアクセスしてください。

[Shigeru Shiozawa Pernilla Dahlstrand]

早速のお返事ありがとうございます。

弊社の拠点に、複合機タイプのFAX機があるので、必要であれば、送信のご協力も可能です。

お忙しいところ、お手数をおかけしますが、どうぞ、宜しくお願い致します。

塩澤 繁

2020年3月9日月曜日 17時18分15秒 UTC+9 Shigeru Shiozawa Pernilla Dahlstrand:

[Takashi Okumura]

ありがとうございます。

もし宜しければ、とりあえず、このシートを参考に、アルファベット収集
用の.xlsを作成してみて頂くわけには参りませんでしょうか。

すると、とりあえず1歩、進みますので。
ご検討頂けますと、大変助かります。


奥村 貴史

[Masakazu Nakano]

10003　というマーカーは2ページ目ですか？

libreofficeでcubePDFで印刷すると、２ページ目になるようです。

なかの

2020年3月9日(月) 22:48 Takashi Okumura <ta...@wide.ad.jp>:

--
このメールは Google グループのグループ「faxocr」の登録者に送られています。
このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。

このディスカッションをウェブ上で閲覧するには、https://groups.google.com/d/msgid/faxocr/CAD%2B%2BZre9MZB0XSjqNWJQxK8-cm1_K%2BRBZMfa41oubuvgRD4dgA%40mail.gmail.com にアクセスしてください。

[Masakazu Nakano]

なかのです。

https://www.pamfax.biz/371.html

スキャンしてPDFにして、ここから新規契約で送ると、FAX代、無料で参加できます。

なかの

2020年3月9日(月) 22:48 Takashi Okumura <ta...@wide.ad.jp>:

ありがとうございます。

--
このメールは Google グループのグループ「faxocr」の登録者に送られています。
このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。

このディスカッションをウェブ上で閲覧するには、https://groups.google.com/d/msgid/faxocr/CAD%2B%2BZre9MZB0XSjqNWJQxK8-cm1_K%2BRBZMfa41oubuvgRD4dgA%40mail.gmail.com にアクセスしてください。

[Takashi Okumura]

回転補正するためのマーカーなので、全部1ページに収まるはずです。
もっとも、faxocrにxlsを食わせれば、PDFは自動生成されるため、
まずはxls上で程よくレイアウトをお願いできれば幸いです。


奥村 貴史

> このメールは Google グループのグループ「faxocr」に登録しているユーザーに送られています。
> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/CAPwL2MCKmj9JJNmSUu2KotF8O39zmqAYWxFfD4dZLGuG7xbJCA%40mail.gmail.com にアクセスしてください。

[y...@zenryokukikai.com]

奥村先生お世話になっております。リクルートテクノロジーズの山本と申します。技術を担当しております。さて、先日、塩澤から連絡差し上げました通り、アルファベット用のCNNモデルの開発を進めております。
そこで、現状のkocrとの互換性について、いくつか相談がございます。

◆相談１　「判定器をpythonで実装することは、許容可能でしょうか？」
kocrにおいて、学習はpython、判定器はC++で、記述されていると思います。学習と判定器を別の言語で記述した場合、同一言語を使用した場合と比較して、アップグレード、環境変数、あるいは、コンフィグレーションファイルの変更によって、予期せぬ問題を引き起こす可能性が多くなると考えます。（同一言語を使用した場合と比べて、開発環境の変化が、片方の言語のみに影響を及ぼしてしまう可能性が増加するため）
判定器の実行形式ファイルは、既存システムとの結合部分になると思いますので、入力インターフェースはC＋＋言語のままで、中身はpythonという形でも良いかと存じます。

◆相談２　「python3.xにアップグレードすることは、許容可能でしょうか？」
kocrのpythonプログラムは、python 2.xを想定しています。
ご存知の通り、python2.xのサポートは2020年1月1日で終了しておりますので、オープンソースへの貢献者を増やす意味でも、python3.xに変更することをご提案したいです。

◆相談３　「kerasのバージョンを2.xにアップグレードすことは、許容可能でしょうか？」
既存のプログラムは、keras1.xを想定していると思いますが、pythonと同様な理由で、アップグレードすることをご提案したいです。

◆相談４　「KerasのbackendにtensorFlowに変更することは、許容可能でしょうか？」
kocrではKerasのbackendとしてtheanoを採用していると思います。theano、tensorFlowは一長一短ございますが、tensorFlowの方がWeb上での情報量が多く、
オープンソースへの貢献者数を増加するうえで、アドバンテージがあると考えております。（※）上記の変更において、最低限、既存の[0-9]の認識率を維持することは前提であると考えます。既に多くの関係各所にて、FAXOCRが利用されていると推測しており、許容頂けない事項もあると考えております。上記の相談事項どの範囲であれば、影響が無いかをご判断頂き、ご検討頂ければ幸甚です。お手数をおかけしますが、どうぞ、宜しくお願い致します。以上

2020年3月10日火曜日 22時51分32秒 UTC+9 Takashi Okumura:

>> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。

>> このディスカッションをウェブ上で閲覧するには、https://groups.google.com/d/msgid/faxocr/CAD%2B%2BZre9MZB0XSjqNWJQxK8-cm1_K%2BRBZMfa41oubuvgRD4dgA%40mail.gmail.com にアクセスしてください。
>
>
>
> --
> --- keep it bass,keep it drum.
> ubuntu server 14.04 + nginx + mysql + ISPConfig3 + dovecot + postfix + bigbluebutton + Freeswitch + FusionPBX + moodle ( + Blender + Cinelerra + Synfig + openEMR )
>
> --
> このメールは Google グループのグループ「faxocr」に登録しているユーザーに送られています。

> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/CAPwL2MCKmj9JJNmSUu2KotF8O39zmqAYWxFfD4dZLGuG7xbJCA%40mail.gmail.com にアクセスしてください。

[Takashi Okumura]

ご提案、有難うございます。ご懸念とご提案の趣旨は理解できなくはない
ものの、現時点での限られた人員で一度に手をつけるには、ちょっとリス
クが大きいかなという印象です。とりわけ、分類器部分を外に出すのは、
オーバーヘッドがどれくらいになるのかの検証が必要で、その点でも
作業が増える懸念があります。

ということで、おそらくですが、ご提案を二つのステップに分けて、
リスク管理をする形はいかがでしょうか。

　step 1) 現在のフレームワークを用いて、アルファベット分類用のクラス
　　　　を足す作業
　step 2) 全体の環境を、バージョンアップする作業

なお、ご提案の背景として、作業の環境整備に手間が掛かってしまった、
ということがあるとすると、それは、作業環境が全部入ったVMイメージ
をご利用頂く方向で解決することが効率的かと存じます。もし宜しければ、
その辺も情報共有頂ければ助かります。

また、step 1のポイントの一つに、「既存の手書き文字データセットに対し
て、ほどよく罫線を混入させた画像データを足す」というタスクがあるは
ずで、そのステップの成果物も、もしお手元にあれば、共有頂ければ有難く
存じます。

　https://sites.google.com/site/faxocr2010/systemrequirements/kocr/nandokudata

ご検討頂ければ幸いです。


奥村 貴史

> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/07f85315-95c2-4ca0-aac1-be35e4bc9abe%40googlegroups.com にアクセスしてください。

[y...@zenryokukikai.com]

奥村先生リクルートテクノロジーズの山本です。お忙しいところ、ご返信ありがとうございます。
ステップを２つに分けて、進める方針で理解しました。目下のタスクとして、教師データの生成（罫線入りも考慮して）を進めております。続けての相談で恐縮なのですが、３点確認させて頂けないでしょうか？◆確認したいこと１　「VMイメージのダウンロードURLを教えていただけますか？」
添付頂いたURLから、下記の「評価版利用法」ページがございました。
https://sites.google.com/site/faxocr2010/ji-pc-de-tamesu　
そのページ内で、VMイメージと思われる下記のリンクがありましたが、リンクが切れているようです。
FaxOCR HDDイメージファイル提供サイト (仮設)
http://www.m-crisis.wide.ad.jp/home/projects
正しいVMイメージの場所をご教授頂けないでしょうか？

◆確認したいこと２　「認識したいアルファベットは大文字のみで良いでしょうか？」
小文字判定が不要であれば、「l（小文字エル）」と「I（大文字アイ）」の誤認リスクを回避できると思います。

◆確認したいこと３　「アルファベット認識用モデルを既存のモデルとは別にご用意してもよろしいでしょうか？」
上記と同様ですが、数字とアルファベットのモデルを別で用意することで「0（ゼロ）」と「O（オー）」、「1（いち）」と「I（アイ）」の誤認リスクを回避できると思います。
FAXに記載されている文字が数字なのかアルファベットなのかをフィールドで区別できるのであれば、数字とアルファベットを別モデルとして用意することができると思います。

下記はご質問への回答となります。> 作業の環境整備に手間が掛かってしまった・・・その辺も情報共有頂ければ助かります。
現状の開発環境と状況を共有させていただきます。[開発環境]
Python 2.7.17、keras1.2.2、"backend": "theano" 、"image_dim_ordering": "th"です。githubのREAMEに準拠しております。[状況]
run.shで生成した[0-9]のモデルを使用して、./kocr（C++）を使用して判定させても、認識率数％になってしまいます。
同じ[0-9]のモデルを使用して、独自の判定器をpythonで記述したところ、認識率は99%以上でした。
環境に依存して./kocr（C++）が設計通りに動作してくれない場合があるのかもしれません。
同様に、[A-Z]のモデルも生成しましたが、[0-9]と結果は同じで、./kocr（C++）では認識率が低く、独自python判定器だと99%以上となりました。
./kocr（C++）の判定器について、留意すべき点など、何かお気づきの点がございましたら、ご指摘ください。

お手数をおかけしますが、どうぞ、宜しくお願い致します。

以上

2020年3月18日水曜日 13時27分16秒 UTC+9 Takashi Okumura:

> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/07f85315-95c2-4ca0-aac1-be35e4bc9abe%40googlegroups.com にアクセスしてください。

[Takashi Okumura]

お返事遅くなり申し訳ありません。

まず、下記の点を先に。

> Python 2.7.17、keras1.2.2、"backend": "theano" 、"image_dim_ordering": "th"です。githubのREAMEに準拠しております。[状況]
> run.shで生成した[0-9]のモデルを使用して、./kocr（C++）を使用して判定させても、認識率数％になってしまいます。
> 同じ[0-9]のモデルを使用して、独自の判定器をpythonで記述したところ、認識率は99%以上でした。
> 環境に依存して./kocr（C++）が設計通りに動作してくれない場合があるのかもしれません。
> 同様に、[A-Z]のモデルも生成しましたが、[0-9]と結果は同じで、./kocr（C++）では認識率が低く、独自python判定器だと99%以上となりました。
> ./kocr（C++）の判定器について、留意すべき点など、何かお気づきの点がございましたら、ご指摘ください。

kocrのCNN版を実装して下さった方に相談してみたところ、以下のお返事を
頂きました。ご確認頂ければ幸いです。(私自身が直接の力になれておらず、
申し訳ありません)

> メール読ませて頂き概ね状況把握いたしました．
> 大変申し訳無いのですが原因はちょっと思い当たりません...
> 過去のメールなども確認してみましたが，関係しそうなものは見つかりませんでした．
>
> 当時公開されていたVMイメージ上で動作確認しているはずなので，
> まず，VM上で動作確認いただき，それでも動かなければ，細かくデバッグしていくしかないように思います．
> 当時，CNN部分について十分テストを書いていれば原因すぐに特定できたと思うので，大変申し訳無い限りです．
>
> デバッグしてくことになるとそれなりの工数になると思うので，
> その場合は step 1 を諦めて step 2 に直接進んでいただく方が結果的に小さい工数になるかもしれません．
> 当時に比べて外部のライブラリも充実しているので，手段を選ばなければかなり小さい工数できそうな気がします．

また、確認事項についてお返事させて頂きます。

> ◆確認したいこと１　「VMイメージのダウンロードURLを教えていただけますか？」
> 添付頂いたURLから、下記の「評価版利用法」ページがございました。
> https://sites.google.com/site/faxocr2010/ji-pc-de-tamesu
> そのページ内で、VMイメージと思われる下記のリンクがありましたが、リンクが切れているようです。
> FaxOCR HDDイメージファイル提供サイト (仮設)
> http://www.m-crisis.wide.ad.jp/home/projects
> 正しいVMイメージの場所をご教授頂けないでしょうか？

済みません、障害でサーバが落ちていました。
(この評価版VM、古くて申し訳ありません。
バージョンアップしたいのですけれども)

> ◆確認したいこと２　「認識したいアルファベットは大文字のみで良いでしょうか？」
> 小文字判定が不要であれば、「l（小文字エル）」と「I（大文字アイ）」の誤認リスクを回避できると思います。

これ、どうしたらよいのでしょうね。普通のOCRであれば、大文字、小文字の
どちらも学習させたうえで、言語モデル作って後処理するのだと思いますけれ
ども、kocrのように特殊用途の(文章等を読ませる目的でない)OCRエンジンは、
そうしたパイプラインに馴染まない気がします。
とりあえず、大文字のみとしてトレーニングデータを用意して頂いたうえで、
万一余力があれば、小文字のデータセットも用意し将来的な拡張に備える…
という形はいかがでしょうか。

> ◆確認したいこと３　「アルファベット認識用モデルを既存のモデルとは別に
> ご用意してもよろしいでしょうか？」

> 上記と同様ですが、数字とアルファベットのモデルを別で用意することで
> 「0（ゼロ）」と「O（オー）」、「1（いち）」と「I（アイ）」の誤認
> リスクを回避できると思います。
> FAXに記載されている文字が数字なのかアルファベットなのかをフィールド
> で区別できるのであれば、数字とアルファベットを別モデルとして用意する
> ことができると思います。

これも、悩ましいところです。別に用意するのが設計としてはシンプルなの
ですけれども、想定しているユースケースでは、混在している可能性があり
ます。可能であれば、アルファベット用モデルと、数字アルファベット混在
モデルをご用意頂き、後者にはトレーニングデータにO(オー)、I(アイ)を含め
ない、という形をためさせて頂ければ有難いところではあります。

リクエストが多く申し訳御座いません。
ご検討を頂けますと幸いです。


奥村 貴史

> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/899885bc-2941-43af-a7db-4eb4a9f34ca8%40googlegroups.com にアクセスしてください。

[y...@zenryokukikai.com]

奥村先生

お世話になっております。

リクルートテクノロジーズ　山本です。

大変お忙しいところ、ご返信頂き感謝いたします。

動作確認につきましては、ご指摘の通りVM上で実施いたします。

サイトからイメージのダウンロードできました。ご対応ありがとうございます。

また、小文字のデータセットを含めた教師データの生成を進めております。

ひとまず、お礼が申し上げたく、ご連絡差し上げました。

今後ともよろしくお願いいたします。

以上

2020年3月23日月曜日 1時11分23秒 UTC+9 Takashi Okumura:

> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/899885bc-2941-43af-a7db-4eb4a9f34ca8%40googlegroups.com にアクセスしてください。

[Masakazu Nakano]

なかのです。

少しそれますが、画素の強弱から圧力がわかり、方向性がとれているかもですね。

書き順のディクテーション自体はbasicなモノがある筈ですし。

面白かったので。

FAXだと特殊モードじゃないと16階調ないですから、なんですが。

なかの

2020年3月23日(月) 11:22 <y...@zenryokukikai.com>:

このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/fbf5a17f-f1c6-41af-ab6d-e7d28c6991be%40googlegroups.com にアクセスしてください。

[Shigeru Shiozawa Pernilla Dahlstrand]

奥村先生、関係者の皆様

お世話になります。リクルートテクノロジーズの塩澤です。

下記の対応をさせて頂きました。

各ファイル一式もOne Driveにて共有させて頂きます。

https://1drv.ms/u/s!As4QgjyXrSDga9xijE2CcufS1eo?e=R2naAh

※データセットは、「ETL Character Database」http://etlcdb.db.aist.go.jp/をベースに作成、利用規約は、etlcdb に付随します。

01_result

　検証結果

　→ 今回は100文字×26種の2600件にて検証し、99.3%の精度となりました。（テストデータは 03_data_set参照）

　→ 誤認した文字の中には、「E」や「L」の文字が切れているデータに対して、「F」「I」と判定してしまったものも含まれています。

02_model

　→ faxocr/pull/3 版にて作成したモデルデータ（hdf5とbin）

03_data_set

　→ トレーニングに使用したデータセット（train：2000枚×26文字）とテストデータ（test：100枚×26枚）

04_env

　→ 環境メモ

本当は、より多くのデータセットを使った学習と小文字モデルも平行で学習させたかったのですが、上記の学習環境ではGPUでの実行が不可であった為、CPUのみで学習を実施(40時間)したモデルのみを取り急ぎ作成致しました。

お手すきの際に、このモデルをFAXOCRで動作確認して頂く事は可能でしょうか？

■相談事項

約1週間かけて、Python 2.7.X＋keras2.x＋theanoの組み合わせを、手探りで何通りも試したものの、GPU有効環境が構築できなかった状況です。まだ試していない組み合わせパターンもあるかもしれませんが、今後のことを考慮すると、以前ご相談をさせて頂いた

>step 2) 全体の環境を、バージョンアップする作業

を試験的に実施したいと考えております。同時に、kerasのbackendをTensorFlowに切り替えることもトライしたいと思います。

もし、弊社側でこの作業を行っても、FAXOCRでの採用が難しい状況で、無意味になるようでしたら、この作業自体は止めたいと思います。

遠慮なく、ご意見を頂戴できれば幸いです。

【今後のタスク】

1．小文字モデルの学習(罫線対応)

データセット：26文字×2000イメージ

　→ 本日から40時間後に完了予定

2．大文字モデルの再学習（01_resultの結果を鑑み、モデル品質を向上させる為のデータセットにて）

時間優先でデータクレンジングをしていないデータセットを利用した為、データセットの見直しで品質改善させます。「L」の場合、augmentationの位置ずらし処理で、下の横棒の部分が欠けてしまい、「I」に見える教師データが含まれています。このような品質を落とす原因となる教師データをクレンジングで改善。

　→ データクレンジング後に学習予定

3．step 2) 全体の環境を、バージョンアップする作業（ご意見をお伺いした上で実施）

どうぞ、宜しくお願い致します。

2020年3月9日月曜日 17時18分15秒 UTC+9 Shigeru Shiozawa Pernilla Dahlstrand:

奥村先生

[Takashi Okumura]

塩澤様

ご連絡を有難うございました。

> 約1週間かけて、Python 2.7.X＋keras2.x＋theanoの組み合わせを、手探りで
> 何通りも試したものの、GPU有効環境が構築できなかった状況です。

これがちょっと判りません。まわりの学生に、kocrの学習がどれくらい掛かる
のか記録をお願いしておいたところ、Geforce GTX1080で、5分から長くて
70分くらいで済むとのことでした。普通にVMイメージをダウンロードして
頂いたうえで、githubから最新のコードとmasterブランチにまだ足していない
中鉢さんのプルリク的コードを用いて、試すと良いはずなのですけれども、
確認を依頼してみます。

> お手すきの際に、このモデルをFAXOCRで動作確認して頂く事は可能でしょうか？

ちょっと時間的に綱渡りな状況が続いておりまして、MLメンバーで、
どなたかお力をお借りできる方にお願いできないかと希望しています。

なお、ファックスサーバのアカウントは、2つ確保しましたので、
お声がけ頂ければ必要情報をお知らせさせて頂きます。

いろいろ無理ばかりを申し訳ありません。
どうか宜しくお願い申し上げます。＞各位


奥村 貴史

> --
> このメールは Google グループのグループ「faxocr」に登録しているユーザーに送られています。
> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。

> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/1cf4f712-b917-4561-b371-f9c868621d39%40googlegroups.com にアクセスしてください。

[Takashi Okumura]

連投申し訳ありません。

> > 約1週間かけて、Python 2.7.X＋keras2.x＋theanoの組み合わせを、手探りで
> > 何通りも試したものの、GPU有効環境が構築できなかった状況です。

最初にお伺いすべきでしたが、利用しようとされていたGPU的環境は、
どんな按配でしたでしょうか。少し関係者？に相談してみたところ、
下記のコメントを頂戴したのですけれども、何らかのヒントになり
そうでしょうか。

> Linuxのインストールから行っている場合は、CUDAなどのドライバは、Linuxの
> ディストリビューションに付属の物を一度アンインストールして、NVIDIAの
> Webページから最新のCUDAドライバをダウンロードしてインストールしないと
> 動かない場合があるようです。
>
> AWSやAzure上で動かしている場合は、CUDAドライバがインストール済みの
> VMイメージが提供されているので、そちらを使ったほうが良いと思います。

GPUが使えない状況だと、作業も非効率化しお辛い状況であったものと
存じます。いろいろとご不便をお掛けする結果となり、誠に申し訳
御座いません。


奥村 貴史

[Shigeru Shiozawa Pernilla Dahlstrand]

奥村先生

さっそくのご回答ありがとうございます。

>普通にVMイメージをダウンロードして

>頂いたうえで、githubから最新のコードとmasterブランチにまだ足していない

>中鉢さんのプルリク的コードを用いて、試すと良いはずなのですけれども、

>確認を依頼してみます。

弊社側でのVMイメージを利用したUSBブートを下記で試みた結果を念のため共有させて頂きます。

■USBブートイメージ確認環境

====================

1．TOSHIBA Dynabook（2018モデル）起動NG

　→ 黒画面にて停止

2．HP GTX 1060搭載ノート（2018モデル）起動NG

　→ 起動時に画面が乱れて停止

3．G-GEAR Note（GTX900シリーズ）（2015モデル） 起動OK

　→ NICメーカーもイメージのLinux kernelバージョンをサポートしておらず、ビルドもエラー

　→ 外付けUSB Wifiも動作せず

　→ ネットワーク利用できず利用を断念

4．HP Pavilion（2012モデル）起動OK

　→ ネットワークも標準ドライバで認識しており、FAXサービスと連携し、FAXOCRとして動作OK

　→ GPU未搭載、CPUパフォーマンス低

====================

再度、弊社側でも、上記PCと別途PCを用意して、下記も含め確認させて頂きますね。

・Windows上のVM（or なんらかの仮想環境）で同じイメージが動作させれるか

・ネットワーク不可のOMEN PCでネットワークを使えるように

もし、貴校側の方で、GPUの稼働確認できましたら、環境構成（OS、CUDA、cuDNN、keras、theano、etc. バージョン ）について教えて頂けますと大変助かります。

> Linuxのインストールから行っている場合は、CUDAなどのドライバは、Linuxの

> ディストリビューションに付属の物を一度アンインストールして、NVIDIAの

> Webページから最新のCUDAドライバをダウンロードしてインストールしないと

> 動かない場合があるようです。

こちらも、VM上で確認をさせて頂きます。

どうぞ、宜しくお願い致します。

塩澤

2020年4月2日木曜日 22時45分38秒 UTC+9 Takashi Okumura:

> > このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
> > このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/1cf4f712-b917-4561-b371-f9c868621d39%40googlegroups.com にアクセスしてください。

[Masakazu Nakano]

横からすみません、

NGなマシンでの、

sudo -s　で、

uname -a

と

lsmod -vv

辺りを添えて貰うとわかりやすいかと存じます。

なかの

2020年4月3日(金) 13:20 Shigeru Shiozawa Pernilla Dahlstrand <shigeru....@gmail.com>:

このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/ca3e8c90-b9c3-46e3-a35c-41cee1e280f6%40googlegroups.com にアクセスしてください。

[y...@zenryokukikai.com]

なかの様

リクルートテクノロジーズ　山本と申します。

ご提案ありがとうございます。

ここで「NGなマシン」は、VMイメージが起動できなかったマシンのことでしょうか？

私の理解が正しければ、「NGなマシン」は起動しませんので、ご提案のコマンドが打てる状況ではございません。

理解が間違っていれば、ご指摘ください。

よろしくお願いいたします。

以上

2020年4月3日金曜日 13時47分52秒 UTC+9 mack:

横からすみません、

NGなマシンでの、

sudo -s　で、

uname -a

と

lsmod -vv

辺りを添えて貰うとわかりやすいかと存じます。

なかの

2020年4月3日(金) 13:20 Shigeru Shiozawa Pernilla Dahlstrand <shigeru...@gmail.com>:

このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/ca3e8c90-b9c3-46e3-a35c-41cee1e280f6%40googlegroups.com にアクセスしてください。

[Takashi Okumura]

お返事を有難う御座いました。

あまり経験がない症状です。

ただ、VM上のファイルシステムの問題というよりも、USBメモリの
問題な印象も受けますね。USBブートイメージを用いて、vmware
から起動できたりしませんでしょうか？


奥村 貴史

> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/ca3e8c90-b9c3-46e3-a35c-41cee1e280f6%40googlegroups.com にアクセスしてください。

[y...@zenryokukikai.com]

奥村先生

リクルートテクノロジーズ　山本です。

大変お忙しいところご返信ありがとうございます。

> USBブートイメージを用いて、vmwareから起動できたりしませんでしょうか？

ご提案の方法でもやってみたいと思います。ありがとうございます。

少なくとも２台のPCでUSB起動に成功していることから、USBメモリが問題である可能性は低いと考えます。

現状を共有させて頂きます。

また、下記★の部分、情報お持ちでしたら、大変助かります。

現在、大きく下記の３つのタスクを並行で進めております。

◆（タスク１）CPUによる学習

　塩澤からもお伝えしております通り、英字のデータセットの生成と学習を進めております。

　英字大文字データセットのクレンジングが完了しており、Keras on theano with CPUで学習を実施している段階です。　

　英字１文字につき2000画像を教師データとして用意していることもあり、CPUでの学習は40時間程度かかります。

　リソースが空き次第、小文字データセットのクレンジング・学習を実施する予定です。

　

◆（タスク２）GPU学習可能なDockerイメージの生成

　kocr githubのpull request版をdockerコンテナ内でGPU学習可能なイメージの構築を進めております。

　・具体的なタスクの内容

　　Keras のバージョンを2.1.4に固定して、GPUを有効にするための関連モジュール（OS、CUDA、cuDNN、python、keras、theano）のバージョンを探しています。

　・Keras のバージョンを固定にする必要がある理由

　　学習器はpython、判定器はC++で記述されています。

　　C++で記述した判定器(CNN)は、既存システムに影響を与えるため、そのプログラムを変更できないと理解しました。

　　これにより、pythonで記述した学習器のKerasのバージョンも固定する必要が生じます。

　　理由は、Kerasのバージョンを変更するとCNN APIが変更される場合があり、判定器側のCNNと互換性を維持できないため。

　★貴校側で、GPUで学習していた際の、関連モジュール（OS、CUDA、cuDNN、python、keras、theano）のバージョンをご教授いただければ、学習効率が向上すると思います。　

◆（タスク３）ご提供VMイメージからのGPU学習環境の構築

　先のメールでご提案いただいた内容を進めます。こちらがGPUで動作すれば、上記のdocker環境は不要と考えます。

アップデートがございましたら、また、ご連絡させていただきます。

よろしくお願いいたします。

以上

2020年4月3日金曜日 23時58分17秒 UTC+9 Takashi Okumura:

> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/ca3e8c90-b9c3-46e3-a35c-41cee1e280f6%40googlegroups.com にアクセスしてください。

[Takashi Okumura]

コメント有難うございました。

環境構築で、貴重な開発者の時間を浪費したくないところですが、
担当していた者と連絡が取れなくなっており、ちょっとすぐにはお返事が
難しい状況です。

> 貴校側で、GPUで学習していた際の、関連モジュール（OS、CUDA、
> cuDNN、python、keras、theano）のバージョンをご教授いただければ、
> 学習効率が向上すると思います。

情報収集に引き続き努力をしますが、どなたか、VMの動作確認か、いろいろ
アップデートした新規のVM構築か、お力をお借りできる方はおられませんで
しょうか。

何卒宜しくお願い申し上げます。


奥村 貴史

2020年4月4日(土) 3:37 <y...@zenryokukikai.com>:

> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/ab1a7173-ed1c-466b-b43e-298e68cb3e62%40googlegroups.com にアクセスしてください。

[Masakazu Nakano]

なかのです。

>情報収集に引き続き努力をしますが、どなたか、VMの動作確認か、いろいろ
>アップデートした新規のVM構築か、お力をお借りできる方はおられませんで
>しょうか。

このノリで良ければ当方お手伝い出来ますよ :D

https://troches.jp/contents/tech/730?fbclid=IwAR23im-Iu8sVAR32qHbMK2E3PGA0fFyehqyj7kb-v70-dTV0Dh6Qtv7fsaw

なかの

2020年4月4日(土) 14:10 Takashi Okumura <ta...@wide.ad.jp>:

このメールは Google グループのグループ「faxocr」の登録者に送られています。
このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
このディスカッションをウェブ上で閲覧するには、https://groups.google.com/d/msgid/faxocr/CAD%2B%2BZrc1bO7jr9ZATtdx59mKYH8KJ9PFvNxV1XiPVdpBQMX4Kg%40mail.gmail.com にアクセスしてください。

[Takashi Okumura]

なかのさん、ありがとうございます。
可能なことから、進めて頂ければ幸いです。

MLメンバーの皆さんへ；

こうした情勢で、いろいろな依頼が集中しており、正直、多くの仕事が
回っていません。困ったことを各自具体的につぶやいて頂ければ、
どなたか、空いている時間に少しずつで結構ですので、ご助力頂けません
でしょうか。ファックスサーバは2契約ほど持っていますので、テストに
必要になった際はいつでも提供できます。

どうか宜しくお願い申し上げます。


奥村 貴史

> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/CAPwL2MD9gHG8ZamE34ULyRroA6SeGH1LveDux0pq57VG5Yp4UA%40mail.gmail.com にアクセスしてください。

[Kentaro AOKI]

Pythonのコードを共有頂けないでしょうか。私の方でも動作環境の確認します。

青木

2020年4月4日(土) 20:28 Takashi Okumura <ta...@wide.ad.jp>:

[Takashi Okumura]

これだと思います。
https://github.com/faxocr/kocr/pulls

とりいそぎ。


奥村 貴史

> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/CAMuMo5WfYS5AFfzMpsvOMyXFWqKHovvG_--yKCVK8bRC8bh2UQ%40mail.gmail.com にアクセスしてください。

[Shigeru Shiozawa Pernilla Dahlstrand]

奥村先生、皆様

下記、進捗をご報告させて頂きます。

■共有1

奥村先生ご提供のkocrのgithubから、pull requesr版をcheckoutして、 

kerasの学習環境を自動構築できるDockerfileです。※CPU学習版です

https://github.com/faxocr-group/kocr-dev

環境構築をされる方向けに、少しでも参考になれば幸です。

■共有2

アルファベット小文字認識モデル

前回同様、小文字認識モデルをOneDriveにて、アップさせて頂きました。

https://onedrive.live.com/?authkey=%21ANxijE2CcufS1eo&id=E020AD973C8210CE%21134&cid=E020AD973C8210CE

※データセットは、「ETL Character Database」http://etlcdb.db.aist.go.jp/をベースに作成、利用規約は、etlcdb に付随します。

01_result

　検証結果

　→ 100文字×26種の2600件にて検証し、97.96%の精度となりました。（テストデータは 03_data_set参照）

　→ 誤認したイメージとクレンジングの対策方針についてのメモ(alphabet_lower_cnn_result_2020-04-06.xlsx)

02_model

　→ faxocr/pull/3 版にて作成したモデルデータ（hdf5とbin）

03_data_set

　・lowercase_train.tar.gz

　　→ トレーニングに使用したデータセット（train：2000枚×26文字）

　・lowercase_test.tar.gz

　　→ テストデータ（test：100枚×26枚）

　・lowercase_test_NG.tar.gz

　　→ テストデータ中、誤認したファイル（53枚）

04_env

　→ 環境メモ

■進行中タスク

・前回の大文字教師データをクレンジングしたデータセットにて学習中

・上記の結果を受けて、小文字教師データのクレンジング作業中

・GPU対応の環境調査

■作業予定

・ブランクイメージ対応

　別途、空欄などのブランク対応の大文字、小文字モデルを学習

不明点等ございましたら、コメント頂ければ幸です。

どうぞ、宜しくお願い致します。

塩澤

2020年4月5日日曜日 10時48分51秒 UTC+9 Takashi Okumura:

これだと思います。
https://github.com/faxocr/kocr/pulls

とりいそぎ。


奥村 貴史

>> >> > このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。

>> >> > このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/ab1a7173-ed1c-466b-b43e-298e68cb3e62%40googlegroups.com にアクセスしてください。
>> >>
>> >> --
>> >> このメールは Google グループのグループ「faxocr」の登録者に送られています。

>> >> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。

>> >> このディスカッションをウェブ上で閲覧するには、https://groups.google.com/d/msgid/faxocr/CAD%2B%2BZrc1bO7jr9ZATtdx59mKYH8KJ9PFvNxV1XiPVdpBQMX4Kg%40mail.gmail.com にアクセスしてください。
>> >
>> >
>> >
>> > --
>> > --- keep it bass,keep it drum.
>> > ubuntu server 14.04 + nginx + mysql + ISPConfig3 + dovecot + postfix + bigbluebutton + Freeswitch + FusionPBX + moodle ( + Blender + Cinelerra + Synfig + openEMR )
>> >
>> > --
>> > このメールは Google グループのグループ「faxocr」に登録しているユーザーに送られています。

>> > このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。

>> > このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/CAPwL2MD9gHG8ZamE34ULyRroA6SeGH1LveDux0pq57VG5Yp4UA%40mail.gmail.com にアクセスしてください。
>
> --
> このメールは Google グループのグループ「faxocr」に登録しているユーザーに送られています。

> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/CAMuMo5WfYS5AFfzMpsvOMyXFWqKHovvG_--yKCVK8bRC8bh2UQ%40mail.gmail.com にアクセスしてください。

[Shigeru Shiozawa Pernilla Dahlstrand]

奥村先生、皆様

お世話になります。リクルートの塩澤です。

アルファベットの学習済モデル一式を下記の通り、作成致しました。

1．アルファベットモデル：空白対応

　・大文字モデル

　・小文字モデル

2．アルファベットモデル空白非対応
※アプリケーション側で空白対応させた場合の利用を想定

　・大文字モデル

　・小文字モデル

■ダウンロード先

https://onedrive.live.com/?id=E020AD973C8210CE%21172&cid=E020AD973C8210CE

■OneDriveフォルダ構成

Alphabet_Model_2020-04-14

├ 01_uppercase

├ 02_uppercase_and_blank

├ 03_lowercase

├ 04_lowercase_and_blank

└ アルファベットモデルの共有_20200414.xlsx　（上記フォルダの説明資料）

まだGPUの有効化が実現できておりませんので、学習にはかなりの時間を要している状況です。

弊社でも調査継続していますが、GPU有効化の確認ができた方がいらっしゃいましたら、引き続き共有をお願い出来ますと助かります。

以上、どうぞ、宜しくお願い致します。 

2020年4月7日火曜日 15時44分54秒 UTC+9 Shigeru Shiozawa Pernilla Dahlstrand:

[Takashi Okumura]

塩澤様、ご連絡を誠にありがとうございました。

どなたか、GPUを使った形で、今回ご用意下さったデータを用いた処理の検証、
お願いできる方はおられませんでしょうか。＞各位

どうも、政府のクラスター対策班が、届いてくるファックスを手入力で
処理しているようで、技術を活用頂けないかと相談をしているところです。

ご検討頂けますと幸いです。
どうかよろしくお願い申し上げます。


奥村 貴史

> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/d5b6ee3e-af87-4615-82c4-4dda0bf7a2f4%40googlegroups.com にアクセスしてください。

[Shigeru Shiozawa Pernilla Dahlstrand]

奥村先生

FAXOCR上での動作確認について相談です。

いったんアルファベット学習モデルの作成が完了した為、FAXOCRを部分的に改修し、

動作確認の協力をさせて頂きたいと考えております。

改修のベースとなるのは、

・先日共有いただいた環境のイメージ

　＋

・https://github.com/faxocr/ の最新環境 FAXOCR、sheet-reader、kocr（pull版）

でよろしいでしょうか？

既にFAXOCRへの文字認識モデルの追加に着手されている方がいらっしゃいましたら、環境の共有など、その方との調整などが必要かと思われますので、ご指示頂けますと助かります。

どうぞ、宜しくお願い致します。

塩澤

2020年4月14日火曜日 9時36分31秒 UTC+9 Takashi Okumura:

> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/d5b6ee3e-af87-4615-82c4-4dda0bf7a2f4%40googlegroups.com にアクセスしてください。

[Kazuhiro Yamasaki]

奥村先生、皆様、

横から失礼致します。エヌビディアの山崎と申します。

Twitter上でGPU周りに問題を抱えておられる、というのをお見かけして、

微力ながらお力添えできればとGPU環境での動作について確認しました。

AWSのp3インスタンスなどで、GPUが動作し1epoch約13秒程度で

学習完了することを確認しております。

(200 epochsの学習は1時間程度で完了しました。また、GPUにはまだ余力がある状況です)

十分に状況を把握できていないかもしれませんので、

以下の内容が解決法として適切でない場合、ご指摘いただければ幸いです。

また、細かい点についてもご協力できることがありそうでしたら、

直接ご連絡頂いても問題ありません。

以下確認内容とスクリプト類を共有させていただきます。

・Dockerfileその他

https://gist.github.com/lazykyama/0a94c844dd57ba97562ae6fddf48aeef

・確認内容

上記Dockerfileで作成したコンテナイメージを使って、以下のコマンド群が動作することを確認しました。

train_cnn.pyなどは https://github.com/faxocr-recruit/kocr-dev/blob/master/Dockerfile#L90 の処理にならい、

PR#3の実装をそのまま利用しております。

(host)$ sudo docker build . -t local/kocr
(host)$ sudo docker run --gpus=all --rm -it -v /path/to/data:/ws/data local/kocr
(container)$ cd /opt/kocr/learning/
(container)$ python train_cnn.py --train_dirs /ws/data/train/ --test_dirs /ws/data/test/
(container)$ cd ../src/
(container)$ ./kocr ../learning/cnn-result.bin /ws/data/test/a-output_img_0000657_1.png

/path/to/data の中身は、4/7に共有されております以下2ファイルの展開結果です。

03_data_set/lowercase_train.tar.gz

03_data_set/lowercase_test.tar.gz

確認には以下の2環境を利用しました。

• AWS
• Deep Learning AMI (Ubuntu 18.04) Version 27.0 - ami-09cff0147f55f2eb2
• p3.2xlarge (GPU: V100)
• Docker version 19.03.6, build 369ce74a3c
  
• Driver version: 440.33.01
  
• Local machine
• Ubuntu 18.04 
• GPU: TITAN X (Pascal)
• Docker version 19.03.8, build afacb8b7f0
  
• Driver version: 440.64.00

よろしくお願い致します。

Kaz

> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/d5b6ee3e-af87-4615-82c4-4dda0bf7a2f4%40googlegroups.com にアクセスしてください。

[Takashi Okumura]

山崎様

平日のなか、御加勢を誠にありがとうございました。
大変助かります。

AWSのML用インスタンスやlocalなTITAN X のような最近の環境でも、
動作が確認できたということですね。

ちなにに、後学のため教えて頂ければ有難いのですが、今回のトラブル、
何が原因としてありえるのでしょう。


奥村 貴史

> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/295d7feb-b35b-41d4-95cd-9b6994aac970%40googlegroups.com にアクセスしてください。

[Takashi Okumura]

塩澤様

お返事遅くなり申し訳ありません。GPU環境のセットアップが
ボトルネックになっている雰囲気でしたので、どなたかご加勢
頂けないかと、お祈りを続けておりました。

それで、先ほどご投稿下さいましたように、NVIDIAの山崎様が、
情報提供してくださいました。ご確認頂けますと幸いです。

>・先日共有いただいた環境のイメージ
>　＋
>・https://github.com/faxocr/ の最新環境 FAXOCR、sheet-reader、kocr（pull版）
> でよろしいでしょうか？
>
> 既にFAXOCRへの文字認識モデルの追加に着手されている方が
> いらっしゃいましたら、環境の共有など、その方との調整などが
> 必要かと思われますので、ご指示頂けますと助かります。

こちらは、少し作業をして下さっている方がおられます。その成果物を
マージしたほうが良いと思われ、状況を確認させて頂いております。
少々お待ち頂ければ助かります。

反応が悪く申し訳ございません。
どうかよろしくお願い申し上げます。


奥村 貴史

[Shigeru Shiozawa Pernilla Dahlstrand]

お世話になります。リクルートの塩澤です。

>エヌビディア 山崎様

GPU稼働環境の共有ありがとうございました。

共有頂きましたDockerfileを弊社の方でも、動作確認をさせて頂きたいと思います。

お忙しい中、本当にありがとうございました。

弊社の方でも、昨日、GPUを有効化させることができましたので、共有をさせて頂ければと思います。

下記の環境で実現できました。

■環境情報概要

PYTHON VERSION:3.6、CUDA VERSION:10.1、CUDNN VERSION:7。THEANO VERSION:1.0.4

■Dockerfile

https://github.com/faxocr-recruit/kocr-dev

>奥村先生

FAXOCRの改修作業の件、既に着手されている方がいらっしゃるという件、承知致しました。

弊社側でも、修正作業を行ってみました。FAX番号を取得し、動作確認を行うことができました。

改修内容と動作した画面の結果を共有させて頂きます。

■改修内容

・FAXOCR

　→ OCR文字種設定（UI）に、英大文字、英小文字を追加

・sheet-reader

　→ kocr/pull/3 版 .bin モデルの読み込みに対応し、英字検証用に cnn-upper.bin、cnn-lower.bin を追加

　→ 非対応のモデルを一時的にコメントアウト

・kocr

　→ kocr/pull/3 版を採用

弊社側での改修は、仕様が完全に考慮できていない可能性もございますので、既に着手されていらっしゃる

方のバージョンに差し替えを行わせて頂ければと考えております。

暫定的にFAXOCRの環境が整いましたので、この後、実際のFAX機を使った送信テストを行い、モデルの品質テストを行ってみたいと考えております。

引き続き、どうぞ、宜しくお願い致します。

2020年4月16日木曜日 22時35分22秒 UTC+9 Takashi Okumura:

[Kazuhiro Yamasaki]

奥村先生、

エヌビディア山崎です。

ちなにに、後学のため教えて頂ければ有難いのですが、今回のトラブル、 
何が原因としてありえるのでしょう。 

VMが起動しない、という事象の後に他の環境へ移行してからもGPUが動いていなかったようですので、

エラーメッセージなどの情報がない状況では、一概に原因を断定することは難しいです。

ただ典型的には、

• ドライバインストール時に設定が不整合を起こしている、
• (特にdocker利用の場合) ドライバとCUDAのバージョンが整合していない、
• Theanoなどライブラリのインストールに失敗している、

などが考えられます。

もちろんこれ以外にドライバやCUDA自体のバグ、GPUの故障、なども原因としては考えられます。

＃それ以外の機器故障の可能性も否定できません……

また、塩澤様の方でもGPUの動作環境が構築できたとのことでよかったです。

もしその他お手伝いできることがありましたらお知らせください。

よろしくお願い致します。

Kaz

> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/295d7feb-b35b-41d4-95cd-9b6994aac970%40googlegroups.com にアクセスしてください。

[Takashi Okumura]

塩澤様

ご連絡を誠に有難うございました。GPUが動いたとのこと、何よりでした。
また、Fax OCRシステム全体も正常動作したようで、何よりです。
pngファイルを拝見しましたが、感動的な絵柄でした。

作業をして下さっている協力者の方に、マージの手順について相談を
しておりますので、少々お時間を頂戴できれば幸いです。

大変お忙しい中、感謝申し上げます。


奥村 貴史

> --
> このメールは Google グループのグループ「faxocr」に登録しているユーザーに送られています。

> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/744548d8-06cc-4edf-b8ba-979a4c771aa6%40googlegroups.com にアクセスしてください。

[慎也山本]

エヌビディア　山崎様

お世話になっております。
リクルート　山本です。

Docker環境のご提供ありがとうございます。心より感謝いたします。

１点ご助言を頂きたくメールさせていただきました。

ご提供いただいたDockerを確認させて頂いたのですが、コンテナに入る際、次のメッセージを出力します。

 

============
== Theano ==
============
NVIDIA Release 18.06 (build 474752)
Container image Copyright (c) 2018, NVIDIA CORPORATION.  All rights reserved.
Copyright (c) 2008--2016, Theano Development Team
All rights reserved.
Various files include modifications (c) NVIDIA CORPORATION.  All rights reserved.
NVIDIA modifications are covered by the license terms that apply to the underlying project or file.
WARNING: Detected NVIDIA TITAN RTX GPU, which is not yet supported in this version of the container
ERROR: No NVIDIA supported GPU(s) detected to run this container

  「Detected NVIDIA TITAN RTX GPU, which is not yet supported in this version of the container」 が出力されております。  

そして、学習時には、次のメッセージを出力して、CPU学習が始まります。

root@755d20aeeda3:/opt/kocr/learning# python train_cnn.py --train_dirs ../images/numbers/ --test_dirs ../images/samples/
/usr/local/lib/python2.7/dist-packages/h5py/__init__.py:36: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.
  from ._conv import register_converters as _register_converters
Using Theano backend.
Using cuDNN version 7104 on context None
Preallocating 10899/24220 Mb (0.450000) on cuda
ERROR (theano.gpuarray): Could not initialize pygpu, support disabled
Traceback (most recent call last):
  File "/usr/local/lib/python2.7/dist-packages/theano/gpuarray/__init__.py", line 227, in <module>
    use(config.device)
  File "/usr/local/lib/python2.7/dist-packages/theano/gpuarray/__init__.py", line 214, in use
    init_dev(device, preallocate=preallocate)
  File "/usr/local/lib/python2.7/dist-packages/theano/gpuarray/__init__.py", line 159, in init_dev
    pygpu.blas.gemm(0, tmp, tmp, 0, tmp, overwrite_c=True)
  File "pygpu/blas.pyx", line 149, in pygpu.blas.gemm
  File "pygpu/blas.pyx", line 47, in pygpu.blas.pygpu_blas_rgemm
GpuArrayException: ('nvrtcCompileProgram: NVRTC_ERROR_INVALID_OPTION', 3)
Load data
Split data into train set and validation set
Build model
Fit
WARNING (theano.tensor.blas): We did not find a dynamic library in the library_dir of the library we use for blas. If you use ATLAS, make sure to compile it with dynamics library.
Epoch 1/200
21/21 [==============================] - 46s 2s/step - loss: 2.0290 - acc: 0.3058 - val_loss: 1.5359 - val_acc: 0.5724

CUDA、cuDNNの組み合わせバージョンを検索する中で、上記のメッセージをよく目にしました。

このメッセージを出力するとき、何が起こっていることが考えられますでしょうか？

弊社のDocker環境で、 TITAN RTX GPU で学習はできておりますので、急ぎではございませんが、

参考のためご助言を頂ければ幸いです。

よろしくお願いいたします。

以上

2020年4月17日(金) 11:48 Takashi Okumura <ta...@wide.ad.jp>:

このメールは Google グループのグループ「faxocr」の登録者に送られています。
このトピックの登録を解除するには https://groups.google.com/d/topic/faxocr/JqZ_70gZ1aY/unsubscribe にアクセスしてください。
このグループから退会し、グループのすべてのトピックの登録を解除するには faxocr+un...@googlegroups.com にメールを送信してください。
このディスカッションをウェブ上で閲覧するには、https://groups.google.com/d/msgid/faxocr/CAD%2B%2BZreK%3DJkcW9zFRtfjoP8%2BX%2BC3-OzY4fgiYfC3X3M2_WBq3g%40mail.gmail.com にアクセスしてください。

[Takashi Okumura]

なかのさん始め、MLメンバーの皆様

塩澤さん、山本さん、青木さん、中鉢さん、竹内さん、鈴木さん、竹迫さんら、
多くの方のご協力により、精度向上とアルファベット対応の基盤部分の作業が
大分進みました。誠にありがとうございました＞みなさま

それで、精度管理のためのテストを行わせて頂けないかと希望しています。
宜しければ、PDFを印刷のうえ、記載された電話番号にファックスしてみて
頂けませんでしょうか。

数日待ったうえで、こちらで結果をご報告させて頂きます。
どうかよろしくお願い申し上げます。


奥村 貴史

[Shigeru Shiozawa Pernilla Dahlstrand]

奥村先生

環境構築と共有ありがとうございます。

午後に、メンバーで手分けして、FAXをお送りしたいと思います。

アルファベットモデル側も、FAX実機と新規文字でのテストでのクオリティでは精度が低くなる可能性も

あると思いますので、結果を確認の上、再学習が出来ればと考えています。

引き続き、どうぞ、宜しくお願い致します。

塩澤

2020年4月21日火曜日 10時47分04秒 UTC+9 Takashi Okumura:

[Shigeru Shiozawa Pernilla Dahlstrand]

奥村先生

連投で失礼致します。

もし、可能でしたら、先ほどのFAXシートをExcelでも共有頂くことは可能でしょうか？

弊社側の環境にも設定ができればと考えております。

お手隙の際で結構です。どうぞ、宜しくお願い致します。

塩澤

2020年4月21日火曜日 11時52分34秒 UTC+9 Shigeru Shiozawa Pernilla Dahlstrand:

[Takashi Okumura]

テスト用にご自由にお使いくださいませ。


奥村 貴史

> --
> このメールは Google グループのグループ「faxocr」に登録しているユーザーに送られています。
> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。

> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/df069a64-c81a-41fd-8a66-b3851d3a9420%40googlegroups.com にアクセスしてください。

[Kazuhiro Yamasaki]

山本様、みなさま、

お世話になります。エヌビディア山崎です。

お返事遅くなり申し訳ございません。いろいろ確認に手間取っておりました。

既に作業が進められておりますので、蛇足かとは思いますが、情報共有の意味でシェアさせていただきます。

まず今回ご提供したDockerfileでは、2018年6月ごろにリリースされたコンテナイメージをベースイメージとしております。

そのため、それ以降に発表されたGPUがサポート対象外として弾かれており、最初のメッセージはそれを意味しています。

＃結果、コンテナ内部からはGPUが存在しないように見えているはずです

後者のエラーメッセージに関しては、原則として、Theanoは実行時にコンパイルが走る仕様になっております。

私のDockerfileから作ったイメージの場合、GPUが存在しないことが直接の原因となります。

それ以外の環境で発生している場合、実行時コンパイルに失敗していることが想定されます。

https://github.com/Theano/libgpuarray/blob/8786e0f8deb87564b6012836c9ae274ed4d262be/src/gpuarray_buffer_cuda.c#L1126

いくつか関連するissueを見ましたが、利用しているCUDAのバージョンに対してドライバが古いケースがあるようです。

(参考: ドライバとCUDAバージョンの対応表 https://github.com/NVIDIA/nvidia-docker/wiki/CUDA#requirements )

一方、ご共有いただいているkocr-devのイメージでも確認したところ、RTX/GTXともにエラーは出ないものの、GPUが有効化されない問題が再現しました。

結論からお伝えすると、この件はtheanorcに指定されている optimizer=None による問題のようです。

以下のドキュメントに記載の通りC言語による実装が無効化、すなわちGPUが無効化されるということで、CPU側の実装にフォールバックし、

プログラムとしては動作するが低速、という状況になっていたようです。

http://deeplearning.net/software/theano/tutorial/modes.html#optimizers

http://deeplearning.net/software/theano/tutorial/using_gpu.html#note

また、kocr-devのDockerfileに一つ誤りの可能性がある箇所を見つけましたので、pull requestを送っております。

いろいろ勘違いをして一度closeしてしまっておりますが、必要な修正であればtheanorcの件と合わせて再度PRを送りますので、ご確認いただければ幸いです。

https://github.com/faxocr-recruit/kocr-dev/pull/1

よろしくお願い致します。

Kaz

> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。

> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/744548d8-06cc-4edf-b8ba-979a4c771aa6%40googlegroups.com にアクセスしてください。

--
このメールは Google グループのグループ「faxocr」の登録者に送られています。
このトピックの登録を解除するには https://groups.google.com/d/topic/faxocr/JqZ_70gZ1aY/unsubscribe にアクセスしてください。

このグループから退会し、グループのすべてのトピックの登録を解除するには fax...@googlegroups.com にメールを送信してください。
このディスカッションをウェブ上で閲覧するには、https://groups.google.com/d/msgid/faxocr/CAD%2B%2BZreK%3DJkcW9zFRtfjoP8%2BX%2BC3-OzY4fgiYfC3X3M2_WBq3g%40mail.gmail.com にアクセスしてください。

[Shigeru Shiozawa Pernilla Dahlstrand]

奥村先生

さっそくの共有ありがとうございました。
取り急ぎ、御礼まで。

塩澤

[慎也山本]

エヌビディア　山崎様

お世話になっております。

リクルート　山本です。

大変お忙しい中、ご助言ありがとうございます。

GPUに依存して、本件が発生していた可能性があったことについて理解しました。

ご用意用させて頂いたDockerコンテナにおいて、GPU学習ができたことは確認しております。（学習速度、学習結果、nvidia-smiで確認）

但し、README記載のとおり、 次のコマンドで明示的にGPUを有効にする必要がございます。（可能なら省略したいと思っています）

THEANO_FLAGS=mode=FAST_RUN,device=cuda0,floatX=float32 python train_cnn.py --train_dirs ../images/numbers/ --test_dirs ../images/samples/

 

ご提案のpull requestを適用することで、上記の明示的なGPU有効化の記述「 THEANO_FLAGS=mode ...」を省略できるのであれば、

今後オープンソースへ貢献してくださる方のためにも、大変有効かと存じます。

ご無理のない範疇で、PRをご提供頂けますと幸いです。

よろしくお願いいたします。

以上

  

2020年4月21日(火) 13:17 Kazuhiro Yamasaki <kyam...@nvidia.com>:

このメールは Google グループのグループ「faxocr」のトピックを登録しているユーザーに送られています。
このトピックの登録を解除するには https://groups.google.com/d/topic/faxocr/JqZ_70gZ1aY/unsubscribe にアクセスしてください。
このグループを退会し、グループのすべてのトピックの登録を解除するには faxocr+un...@googlegroups.com にメールを送信してください。
このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/b3bfc00b-06ad-4182-9057-b2c66af404c6%40googlegroups.com にアクセスしてください。

[Takashi Okumura]

先ほど、テストのファックスを確認してみたところ、82件もファックス
して頂けていました。うれしい誤算です。誠に有難うございました。

利用しているOCRエンジンのkocr、サインペン字がなかなか苦手でした。
太くて、○などの特徴がつぶれてしまうことが少なからずあるのです。
それが、サインペンでも、数字についてはほとんど問題なく読めていま
した。本来の対象であるボールペンは、そうとう精度が出ている印象です。
ただ、鉛筆の、かすれ文字については、そこそこ厳しい感じでした。
もともとの学習データに含まれていないことが大きいのでしょう。

アルファベットについても、初テストではありましたが、だいぶんいけ
ました。ただし、数字よりも、難がある印象です。必ず読めて欲しい
按配の字の取りこぼしが、多少目に付いた感じでした。

あとは、やはりシステムの切り出しのクセがあり、その点は改良を要する
印象です。具体的には、「画像として切り出す」際、切り出し範囲がかな
り狭いのです。ひょっとすると、切り出し場所の計算にバグが入ってしまっ
ているのかも知れません。

ともあれ、ご協力を下さった方々、誠にありがとうございました。
大変助かりました。


奥村 貴史

[Kazuhiro Yamasaki]

山本様、

お世話になります。エヌビディアの山崎です。

READMEのコマンドについて失念しておりました。申し訳ございません。
ただ実行時コマンドは可能なら排除したい、とのことでしたので、
以下、PRを作成しておきました。
https://github.com/faxocr-recruit/kocr-dev/pull/2

お手数ですが詳細ご確認いただければ幸いです。

またこれ以外に2件、修正したほうが良さそうな箇所がありましたので、

fork先にコミットしております。

https://github.com/lazykyama/kocr-dev/branches

ひとつはtrain_cnn.pyのパス操作周りのバグ(?)動作の改善と、

コード変更に伴う再build時間短縮のためのDockerfile内のコマンド実行順の変更です。
PR#2がマージされ次第、こちらもPRとして送らせていただきます。

(最初のブランチ作成を失敗してしまったため、このような流れになっております……)

よろしくお願い致します。
Kaz

このグループを退会し、グループのすべてのトピックの登録を解除するには fax...@googlegroups.com にメールを送信してください。
このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/b3bfc00b-06ad-4182-9057-b2c66af404c6%40googlegroups.com にアクセスしてください。

[Shigeru Shiozawa Pernilla Dahlstrand]

奥村先生

FAXOCRのテストの共有ありがとうございます。

サインペンと鉛筆の認識が低めな件、今回のアルファベットのデータセットには、先生のおっしゃる通り

太字やかすれた文字が用意できていなかった為、苦戦すると想像しながら、昨日FAXをお送りしておりました。

弊社側でアルファベットモデルの精度向上の為、直近で下記の作業を行いたいと考えております。

・手書き教師データの収集

　チーム内で、手書きデータ追加(実機FAXで送信、eFAX受信しデータ取込み)

・モデルの再学習

 　「ETL Character Database」のデータに加え、新たに収集するデータを追加致します。

上記を進める上で、確認させて頂きたい事がございます。

■アルファベット小文字の必要性について

大文字同様に小文字の精度を向上させる必要はございますでしょうか？

必要でしたら、データ追加、再学習を行おうと思います。

■最新のFAXOCR環境の確認

青木様が共有して下さっている下記GitHub環境で作業を進めても大丈夫でしょうか？

https://github.com/faxocr/faxocr-docker-image

貴校側の切り出し部分の仕様変更を素早く適用できるよう弊社側でも同じ環境を構築しておきたいと考えております。

お手隙の際で結構ですので、ご教示頂けますと幸です。

塩澤

2020年4月21日火曜日 22時38分15秒 UTC+9 Takashi Okumura:

[慎也山本]

エヌビディア　山崎様

お世話になっております。

リクルート　山本です。

ご返信ありがとうございます。

PRの内容を確認させて頂き、マージいたします。

 

また、２件のバグについても、確認させて頂きます。

即応、ありがとうございます。

以上

2020年4月21日(火) 23:02 Kazuhiro Yamasaki <kyam...@nvidia.com>:

このグループを退会し、グループのすべてのトピックの登録を解除するには faxocr+un...@googlegroups.com にメールを送信してください。
このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/9abd77e0-7d6a-4f3e-a97b-3d1dec8562a8%40googlegroups.com にアクセスしてください。

[慎也山本]

エヌビディア　山崎様

お世話になっております。

リクルート　山本です。

PR#2確認させていただきました。

プリセット変数定義なしで、GPU学習できることを確認し、マージいたしました。

改めて感謝いたします。

forkして頂いた側のcommit内容もお時間の許すときに、

PR頂ければ幸いでございます。

よろしくお願いいたします。

以上 

2020年4月22日(水) 16:07 慎也山本 <y...@zenryokukikai.com>:

[Takashi Okumura]

塩澤様

作業を誠にありがとうございました。大変助かります。

> ■アルファベット小文字の必要性について
> 大文字同様に小文字の精度を向上させる必要はございますでしょうか？
> 必要でしたら、データ追加、再学習を行おうと思います。

どちらかと言えば、ここまでの精度向上と、ノイズ画像処理に
加えて、作業をして下さったアルファベット大文字対応を、
masterブランチに突っ込み、そこまでの文字種について、
安定して利用できるVMイメージを公開するところまで辿り
つくのが良いかと考えています。

そこまで辿りつければ、ここの文字種の精度向上のためのタスクは、
作業環境も入手が容易で、また、現在のようにブランチが多様化し
てしまっている状況を一回リセットできます。そうすると、他の協力
者の方々にご参加頂いたりする際にも有利となるため、結果的に、
各文字種の認識性能向上も楽になるはずです。

> ■最新のFAXOCR環境の確認
> 青木様が共有して下さっている下記GitHub環境で作業を進めても大丈夫
> でしょうか？
> https://github.com/faxocr/faxocr-docker-image
> 貴校側の切り出し部分の仕様変更を素早く適用できるよう弊社側でも
> 同じ環境を構築しておきたいと考えております。

上記、結構かと存じます。青木さんからは、下記のコメントも
頂戴しています。

> はい。教えていただいたkocrの変更箇所が組み込まれています。
> また、https://github.com/faxocr/faxocr-docker-image は、負荷
> テスト中の環境と同じものになります。
> あとは、塩澤さんの方で作成したCNNの学習済みモデルをこちら
> の環境にコピーしています。

「kocrの変更箇所」というのは、2018年に中鉢さんが作業をして
下さったプリリク2件で(Dockerfileの下記部分？が該当)、青木さん
公開の環境が最新のはずです。(空白画像クラスについても、
含まれているかは再度確認したほうが良いかも知れませんが)

&& cd kocr && git fetch origin pull/3/head:replace_preprocessing &&
git checkout replace_preprocessing && cd .. \

何卒よろしくお願い申し上げます。


奥村 貴史

2020年4月22日(水) 10:41 Shigeru Shiozawa Pernilla Dahlstrand
<shigeru....@gmail.com>:

> --
> このメールは Google グループのグループ「faxocr」に登録しているユーザーに送られています。

> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/3caa5617-abe0-483d-b303-8cdf41725eca%40googlegroups.com にアクセスしてください。

[Kentaro AOKI]

塩澤様

>公開の環境が最新のはずです。(空白画像クラスについても、
>含まれているかは再度確認したほうが良いかも知れませんが)

皆様にテストしていただいた環境は、OneDriveで共有頂いた学習済モデルの最新日付を使用しています。利用しているモデルは空白が含まれないものになります。

青木

2020年4月23日(木) 0:47 Takashi Okumura <ta...@wide.ad.jp>:

このメールは Google グループのグループ「faxocr」の登録者に送られています。
このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
このディスカッションをウェブ上で閲覧するには、https://groups.google.com/d/msgid/faxocr/CAD%2B%2BZrcxpdpqYRntQ75kLgYSKxJtX0PqNQDTjPiRMpF0pxkcHQ%40mail.gmail.com にアクセスしてください。

[Shigeru Shiozawa Pernilla Dahlstrand]

奥村先生、青木様

お返事ありがとうございます。

>>■アルファベット小文字の必要性について

>どちらかと言えば、ここまでの精度向上と、ノイズ画像処理に

>加えて、作業をして下さったアルファベット大文字対応を、

>masterブランチに突っ込み、そこまでの文字種について、

>安定して利用できるVMイメージを公開するところまで辿り

>つくのが良いかと考えています。

最新のVM公開を目指す件、承知致しました。

弊社としては、VMが公開されるまで、新たな手書き文字収集などにより

モデル精度向上が目指せる様、粛々と作業をさせて頂こうと考えております。

>>■最新のFAXOCR環境の確認

>皆様にテストしていただいた環境は、OneDriveで共有頂いた学習済モデルの最新日付を使用しています。利用しているモデルは空白が含まれないものになります。

ありがとうございます。こちらの環境にて、弊社内でも稼働させることができました。

引き続き、宜しくお願い致します。

塩澤

2020年4月23日木曜日 7時50分17秒 UTC+9 kekekekenta:

<shigeru...@gmail.com>:

> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。

> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/3caa5617-abe0-483d-b303-8cdf41725eca%40googlegroups.com にアクセスしてください。

--
このメールは Google グループのグループ「faxocr」の登録者に送られています。

このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
このディスカッションをウェブ上で閲覧するには、https://groups.google.com/d/msgid/faxocr/CAD%2B%2BZrcxpdpqYRntQ75kLgYSKxJtX0PqNQDTjPiRMpF0pxkcHQ%40mail.gmail.com にアクセスしてください。

[Takashi Okumura]

> 皆様にテストしていただいた環境は、OneDriveで共有頂いた学習済
> モデルの最新日付を使用しています。利用しているモデルは空白が
> 含まれないものになります。

コメントありがとうございます。

作業の成果をmasterブランチに戻す前のいずれかのタイミングで、
空白を正しく認識できるよう、ご配慮いただければ助かるところです。
(そうでないと、空欄な回答に対して、似ても似つかない数字を認識
してしまうため…)

塩澤さんチームにお願いしてしまうのが、手間的には早いでしょうか。
塩澤様、お手数ですが、感触としていかがでしょうか。


奥村 貴史

> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/CAMuMo5UsDF1uaBkdF53-eCfhrHpmjp6hPuqbnr6iuaZTbmvR2A%40mail.gmail.com にアクセスしてください。

[Kazuhiro Yamasaki]

山本様、

お世話になっております。エヌビディアの山崎です。

マージありがとうございました。

残りについてもPR作成しておきましたので、お手すきの際にご確認ください。

https://github.com/faxocr-recruit/kocr-dev/pull/3

https://github.com/faxocr-recruit/kocr-dev/pull/4

よろしくお願い致します。

Kaz

このグループを退会し、グループのすべてのトピックの登録を解除するには fax...@googlegroups.com にメールを送信してください。
このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/9abd77e0-7d6a-4f3e-a97b-3d1dec8562a8%40googlegroups.com にアクセスしてください。

[Shigeru Shiozawa Pernilla Dahlstrand]

奥村先生

>塩澤さんチームにお願いしてしまうのが、手間的には早いでしょうか。

>塩澤様、お手数ですが、感触としていかがでしょうか。

はい、モデル内で空白イメージを学習させて対応させるということでしたら、アプリ改修は

必要最低限で済むので、当方側対応でやらせて頂ければと思います。

既に、先日共有させて頂きましたアルファベットには、空白対応モデルも用意していますし、

追加で空白対応の数字、記号のモデルを作成させて頂きます。

現在のFAXOCRに組み込まれている数字、記号のモデルは、下記のShinsai OCRに掲載されているデータセット
（切り出しミスデータ、罫線混入画像データ）で稼働されているという認識で宜しかったでしょうか？

https://sites.google.com/site/faxocr2010/systemrequirements/kocr/nandokudata

業務を想定すると＋、－、チェックマークが必要、クラスもA～Eまで必要なのか、ご指示頂ければ、

取込む、排除するなどして、学習させます。

なお、モデル側では、空白として認識された場合の文字列として、_(アンダースコア)で出力したいと考えております。

青木様に、空白が認識された場合、_が渡されてくる点のみ対応頂ければと思います。

どうぞ、宜しくお願い致します。

塩澤

2020年4月23日木曜日 10時46分18秒 UTC+9 Takashi Okumura:

> 皆様にテストしていただいた環境は、OneDriveで共有頂いた学習済
> モデルの最新日付を使用しています。利用しているモデルは空白が
> 含まれないものになります。

コメントありがとうございます。

作業の成果をmasterブランチに戻す前のいずれかのタイミングで、
空白を正しく認識できるよう、ご配慮いただければ助かるところです。
(そうでないと、空欄な回答に対して、似ても似つかない数字を認識
してしまうため…)

塩澤さんチームにお願いしてしまうのが、手間的には早いでしょうか。
塩澤様、お手数ですが、感触としていかがでしょうか。


奥村 貴史

>> <shigeru...@gmail.com>:

>> > このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。

>> > このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/3caa5617-abe0-483d-b303-8cdf41725eca%40googlegroups.com にアクセスしてください。
>>
>> --
>> このメールは Google グループのグループ「faxocr」の登録者に送られています。

>> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。

>> このディスカッションをウェブ上で閲覧するには、https://groups.google.com/d/msgid/faxocr/CAD%2B%2BZrcxpdpqYRntQ75kLgYSKxJtX0PqNQDTjPiRMpF0pxkcHQ%40mail.gmail.com にアクセスしてください。
>
> --
> このメールは Google グループのグループ「faxocr」に登録しているユーザーに送られています。

> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/CAMuMo5UsDF1uaBkdF53-eCfhrHpmjp6hPuqbnr6iuaZTbmvR2A%40mail.gmail.com にアクセスしてください。

[Takashi Okumura]

塩澤様

コメントを有難うございました。

> はい、モデル内で空白イメージを学習させて対応させるということでしたら、アプリ改修は
> 必要最低限で済むので、当方側対応でやらせて頂ければと思います。

大変助かります。

> 現在のFAXOCRに組み込まれている数字、記号のモデルは、下記のShinsai OCRに掲載されているデータセット
> （切り出しミスデータ、罫線混入画像データ）で稼働されているという認識で宜しかったでしょうか？
> https://sites.google.com/site/faxocr2010/systemrequirements/kocr/nandokudata

そのはずです。

> 業務を想定すると＋、－、チェックマークが必要、クラスもA～Eまで必要なのか、ご指示頂ければ、
> 取込む、排除するなどして、学習させます。

切り出しミスデータは、クラスA、B、Cを入れた学習が望ましいと考えています。

> なお、モデル側では、空白として認識された場合の文字列として、_(アンダースコア)で
> 出力したいと考えております。
> 青木様に、空白が認識された場合、_が渡されてくる点のみ対応頂ければと思います。

上記のアイディア、大変有難く、また、合理的に感じます。

どうかよろしくお願い申し上げます。


奥村 貴史

> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/a151ecd5-6489-4bbb-8138-39dd9a627ef9%40googlegroups.com にアクセスしてください。

[Shigeru Shiozawa Pernilla Dahlstrand]

奥村先生

>切り出しミスデータは、クラスA、B、Cを入れた学習が望ましいと考えています。

承知しました。A、B、Cまで含めたデータセットとさせて頂きます。

モデル構築のご提案ですが、記号(＋と×)の誤認リスクを可能な限り回避させる為と、

業務に合わせてモデル選択が可能な様に、下記の6モデル構成への変更はいかがでしょうか？

・記号1（○、△、×）

・記号2（＋、－）

・記号3（チェック）

・数字
・アルファベット大文字

・アルファベット小文字

ただし、上記の構成にすると、アプリ側に若干の改修が入ると推測しています。

アプリ側に影響を与えないことを優先する場合は、現行の記号1モデルのままにして

学習前に極力傾いた＋は排除する等で対応したいと思います。

度々、確認をお願いしてしまいお手数をおかけ致しますが、ご意見の程、宜しくお願い致します。

塩澤

2020年4月23日木曜日 17時14分51秒 UTC+9 Takashi Okumura:

> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/a151ecd5-6489-4bbb-8138-39dd9a627ef9%40googlegroups.com にアクセスしてください。

[Kentaro AOKI]

奥村様、塩澤様

＞空白を正しく認識できるよう、ご配慮いただければ助かるところです。

＞ (そうでないと、空欄な回答に対して、似ても似つかない数字を認識
＞ してしまうため…)  

＞ 既に、先日共有させて頂きましたアルファベットには、空白対応モデルも用意していますし、

＞ 追加で空白対応の数字、記号のモデルを作成させて頂きます。

塩澤様に共有いただいているOneDrive内の、以下ファイルを現在のテスト環境に反映させておきました。

cnn-result_uppercase_blank.bin

cnn-result_lowercase_blank.bin

よろしくお願いします。

青木

2020年4月23日(木) 18:55 Shigeru Shiozawa Pernilla Dahlstrand <shigeru....@gmail.com>:

このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/4ba3b58f-3001-4b8f-9970-bd31c7d327eb%40googlegroups.com にアクセスしてください。

[Takashi Okumura]

塩澤様

ご提案、ありがとうございます。

> モデル構築のご提案ですが、記号(＋と×)の誤認リスクを可能な限り回避させる為と、
> 業務に合わせてモデル選択が可能な様に、下記の6モデル構成への変更はいかがでしょうか？
> ・記号1（○、△、×）
> ・記号2（＋、－）
> ・記号3（チェック）
> ・数字
> ・アルファベット大文字
> ・アルファベット小文字
>
> ただし、上記の構成にすると、アプリ側に若干の改修が入ると推測しています。
> アプリ側に影響を与えないことを優先する場合は、現行の記号1モデルのままにして
> 学習前に極力傾いた＋は排除する等で対応したいと思います。

ご指摘の通り、Faxocrのrailsアプリ側やFaxocrモジュールを利用する他の
アプリとのインターフェースを考えると、既に銘々されているモデルの中身
が代わるのは好ましくないものと理解しています。

新しいモデルについては、別のモデルとして構築した方が互換性を保ちやす
いため、その形でお願いできれば有難いところです。もちろん、含まれる
クラスにモデル間のオーバーラップがあることには問題ありません。

どうかよろしくお願い申し上げます。


奥村 貴史

[Shigeru Shiozawa Pernilla Dahlstrand]

奥村先生、青木様

お忙しいところ、お返事ありがとうございました。

>塩澤様に共有いただいているOneDrive内の、以下ファイルを現在のテスト環境に反映させておきました。
青木様、反映ありがとうございました。

>新しいモデルについては、別のモデルとして構築した方が互換性を保ちやす 
>いため、その形でお願いできれば有難いところです。もちろん、含まれる 
>クラスにモデル間のオーバーラップがあることには問題ありません。 

奥村先生、承知致しました。既存の仕様に影響を与えないように、モデルの構成を維持させたまま、空白対応のみ実施させて頂きます。

どうぞ、宜しくお願い致します。

塩澤

2020年4月23日木曜日 23時03分58秒 UTC+9 Takashi Okumura:

[慎也山本]

エヌビディア　山崎様

お世話になっております。

リクルート　山本です。

PRありがとうございます。

確認して、マージさせて頂きました。

素晴らしいアイデアだと思いました。ありがとうございます。

今後とも、よろしくお願いいたします。

以上

2020年4月24日(金) 9:31 Shigeru Shiozawa Pernilla Dahlstrand <shigeru....@gmail.com>:

--

このメールは Google グループのグループ「faxocr」のトピックを登録しているユーザーに送られています。
このトピックの登録を解除するには https://groups.google.com/d/topic/faxocr/JqZ_70gZ1aY/unsubscribe にアクセスしてください。

このグループを退会し、グループのすべてのトピックの登録を解除するには faxocr+un...@googlegroups.com にメールを送信してください。
このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/9a53f2ac-f3b2-4219-ad4c-289de92f316e%40googlegroups.com にアクセスしてください。

[Shigeru Shiozawa Pernilla Dahlstrand]

奥村先生

数字と記号の空白対応モデルの学習と品質確認が完了致しました。

下記の構成でアップさせて頂いております。

https://onedrive.live.com/?authkey=%21AICc%5F0wMJPHyVbw&id=E020AD973C8210CE%211038&cid=E020AD973C8210CE

■Modelフォルダ

①numbers+difficult_ABC+space_model.zip    数字、難読ABC及び空白の学習済モデル（今回ご依頼頂いたモデル）

②kigou_all+difficult_ABC+space_model.zip  記号すべて、難読ABC及び空白の学習済モデル（今回ご依頼頂いたモデル）

今回は利用されない想定の弊社提案の記号分割モデル(短時間の学習で済んだので作成しておきました)

③kigou_mbs+difficult_ABC+space_model.zip  〇×△、難読ABC及び空白の学習済モデル

④kigou_pn+difficult_ABC+space_model.zip   ＋－、難読ABC及び空白の学習済モデル

⑤kigou_c+difficult_ABC+space_model.zip    チェック、難読ABC及び空白の学習済モデル

上記の各ファイルを解凍すると、下記のファイルが格納されています。

・cnn-result.bin　モデルファイル

・weights.hdf5　　weightファイル

・result.txt　　　データセット内のテストフォルダを利用した品質確認結果

■Datasetフォルダ

①'numbers+difficult_ABC+space.zip    数字、難読ABC及び空白のデータセット

②'kigou_all+difficult_ABC+space.zip  記号すべて、難読ABC及び空白のデータセット

今回は利用されない想定の弊社提案の記号分割モデル

③'kigou_mbs+difficult_ABC+space.zip  〇×△、難読ABC及び空白のデータセット

④'kigou_pn+difficult_ABC+space.zip   ＋－、難読ABC及び空白のデータセット

⑤'kigou_c+difficult_ABC+space.zip    チェック、難読ABC及び空白のデータセット

・dataset_separator.py データセットを学習用とテスト用9:1へ分割するスクリプト

上記の各ファイルを解凍すると、下記のファイルが格納されています。

・train 学習に利用したファイル

・test　学習後の品質確認用ファイル(学習には利用していません)

・README.txt 学習に利用したファイル構成等の情報

■FailedImagesフォルダ

①'numbers+difficult_ABC+space_failed_imgs.zip    数字、難読ABC及び空白のモデルが誤認識した画像

②'kigou_all+difficult_ABC+space_failed_imgs.zip  記号すべて、難読ABC及び空白のモデルが誤認識した画像

今回は利用されない想定の弊社提案の記号分割モデル

③'kigou_pn+difficult_ABC+space_failed_imgs.zip   ＋－、難読ABC及び空白のモデルが誤認識した画像

今回の学習では、難解テストデータをベースとしております。

https://sites.google.com/site/faxocr2010/systemrequirements/kocr/nandokudata

ただし、上記には、記号の正常系画像が含まれていなかったため、記号の正常系画像はkocrのgithubに収録されているものを使用しました。

<品質テスト結果の共有>

①数字、難読ABC及び空白の学習済モデル（今回ご依頼頂いたモデル）

認識率 99.65%(11331/11371) 

②記号すべて、難読ABC及び空白の学習済モデル（今回ご依頼頂いたモデル）

認識率 99.64%(1112/1116) 

今回は利用されない想定の弊社提案の記号分割モデル(短時間の学習で済んだので作成しておきました)

③〇×△、難読ABC及び空白の学習済モデル

認識率 100.00%(538/538)

④＋－、難読ABC及び空白の学習済モデル

認識率 99.68%(309/310)

⑤チェック、難読ABC及び空白の学習済モデル

認識率 100.00%(739/739)

使用したデータセットには、全ピクセルが白（255,255,255）の画像が含まれており、これらは学習時に除外しました。

テスト用画像にも全ピクセル白の画像が含まれており、それを除外すると③、④、⑤は100%の認識率と言えます。

近日中に、今回の学習に利用したデータセットや学習結果等を一覧表にして、EXCELで共有をさせて頂きます。

取り急ぎ、モデルの共有と結果まで。

2020年4月24日金曜日 9時31分05秒 UTC+9 Shigeru Shiozawa Pernilla Dahlstrand:

[Takashi Okumura]

ありがとうございます。大変有難い箇所の作業を進めて下さり、
感謝しております。

ちなみに、GPU利用時の学習時間、どれくらいになりましたでしょうか。
GPUなしだと数日、というお話もありましたので。


奥村 貴史

> --
> このメールは Google グループのグループ「faxocr」に登録しているユーザーに送られています。

> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/dadeb0bf-0644-491b-a651-c41a5c97a198%40googlegroups.com にアクセスしてください。

[Shigeru Shiozawa Pernilla Dahlstrand]

奥村先生

Nvidia山崎様を中心とした、皆様のお陰様で、大幅に学習速度が改善されました。
今回の数字モデルの場合、約1時間で学習が完了しています。(弊社スペックの場合、CPU学習の約37倍の速度)
本当に、ありがとうございました！

今回のモデルの学習内容を正確に共有するためと、将来的にどなたかが引き継がれることなどを想定して、
EXCELに整理させて頂きました。（添付のEXCELもしくは、下記のリンクより）
https://1drv.ms/x/s!As4QgjyXrSDgiBopzJTtzmCK2VJd?e=LP3Mtg

現在、アルファベット側の精度向上に向け、身近な人に協力を依頼して教師データを集め始めました。
弊社側で作成させて頂いたアルファベットモデルは、共有させて頂いておりますとおり、ベースは下記を利用しておりますが、利用許諾(研究目的なら利用可能)が
やや気になっています。http://etlcdb.db.aist.go.jp/
念のため完全オリジナルデータのデータセットを目指したいという点と、継続利用するにあたっても精度向上の必要性を感じている為、データ収集を開始したところです。

どうぞ、宜しくお願い致します。

塩澤


2020年4月28日火曜日 0時46分03秒 UTC+9 Takashi Okumura:

> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/dadeb0bf-0644-491b-a651-c41a5c97a198%40googlegroups.com にアクセスしてください。

[Takashi Okumura]

お返事が遅くなり申し訳ありません。
学習速度の大幅な改善、何よりでした。
また、情報の整理、誠に有難う御座いました。大変助かります。

> 弊社側で作成させて頂いたアルファベットモデルは、共有させて頂いております

> とおり、ベースは下記を利用しておりますが、利用許諾(研究目的なら利用可能)が
> やや気になっています。http://etlcdb.db.aist.go.jp/
> 念のため完全オリジナルデータのデータセットを目指したいという点と、継続
> 利用するにあたっても精度向上の必要性を感じている為、データ収集を開始した
> ところです。

FaxOCRは、一回システムが動いてしまえば、サンプル収集用のシートを
大勢に手書きして頂くだけで、結構な数の手書き文字データセットを
効率的に収集できます。それで、 Creative Commons BY的なライセンスに
してしまえれば、後顧の憂いも断てますので、有難い方向性です。

先日の実験で集めたファイルも、同じ扱いとさせて頂きますので、
データが少しでも増えればと願っております。

まずは現状のデータ整理、感謝申し上げます。


奥村 貴史

2020年4月28日(火) 11:00 Shigeru Shiozawa Pernilla Dahlstrand
<shigeru....@gmail.com>:

> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/753c1809-ac51-4338-83b2-728e4fb39b23%40googlegroups.com にアクセスしてください。

[Shigeru Shiozawa]

奥村先生

お世話になります｡塩澤です｡

直近の作業内容をご報告させて頂きます。

長文の為、お時間のある時で結構ですので、ざっと目を通して頂けますと幸です。

--------- 概要 ----------

独自アルファベットの収集、学習、評価を繰り返していたところ、

認識結果に違和感のある(誤認理由が説明不可能)判定が散見しました。

調査の結果、KOCR学習前にクロップ処理が実行され、文字の一部が切り取られることで

別の文字として、学習が行われていることがわかりました。

既存のソースコードを２行程度変更し、クロップ処理を無効にし学習させた結果、認識精度の向上と違和感無い学習が可能となりました。

わずかですが既存のソースコードに手を入れてしまっている為、採用頂くのは難しいかもしれませんが参考までに共有させて頂きます。その他のFAXOCRの稼働時に起こった現象も報告致します。

--------- 詳細 ----------

【１】独自手書き文字（アルファベット）の収集とデータセットの作成

600枚超の手書き文字シートを入手(Shinsai OCRでの利用に同意してくれた身近な人のみ＆現在増加中)

【２】1を用いた学習と認識精度の検証

2-1.FAXOCRにて切り出された手書き文字データを収集

2-2.学習前のクレンジング作業（目視による作業）

2-3.kocrの学習器にてモデルの作成

2-4.kocrにて作成したモデルの検証

【３】意図しない誤認文字の調査

2-2で他の文字と誤認しやすいイメージを排除していたが、想定外の誤認判定が多数存在

例：CをOとして、IをTとして、BをKとして誤認する等が多数発生

（データセットは、独自のデータ拡張等を含め、複数パターンにて検証）

※別資料「調査内容の共有.pptx」P1参照

この事象から、2-3の学習時の画像処理で、画像の一部が切れるなど、意図しないデータが生成されている懸念あり

【４】拡張処理の可視化による確認

学習時に実施される画像処理とkerasでのGenerator後の画像を表示するツールを作成。

学習時の画像処理では、二値化後のクロップ処理（余白を切り詰める処理）後、KerasのImageDataGeneratorにて、

他の文字との誤認リスクがある学習データが生成されるケースを確認

※別資料「調査内容の共有.pptx」P2（左）参照

例：「O」の場合は、右端が切れることで、「C」に見えるイメージが生成されてしまう。

【５】クロップ処理無効による効果と改善結果

文字の端まで余白を切詰めるクロップ処理を無効にして検証

※別資料「調査内容の共有.pptx」P2（右）参照

学習時のクロップ処理、文字判定時のクロップ処理をそれぞれ有効／無効の各組み合わせで精度検証の結果、

学習時と判定時の両方でクロップ処理を無効にした場合に、誤認が最も少なく、認識の精度が見られた。

※別資料「調査内容の共有.pptx」P3参照

【６】モデル、ソース、データセットの共有

上記検証で利用したソースコードとモデル、並びにデータセットを下記に共有。新モデルを実行する為には、ソースコードとモデルの差替が必要。

※別資料「調査内容の共有.pptx」P4-10参照

【その他】

FAXOCRを稼働させ、実際にFAXを受信、アプリの動作確認を行った際に発生した事象の共有

※別資料「調査内容の共有.pptx」P11-14参照

もし、先生側の環境下においてもご確認頂けるようでしたら、お手隙の際に実施頂けますと幸です。

ご不明な点等ございましたら、ご連絡下さい。

どうぞ、宜しくお願い致します。

2020年4月30日木曜日 22時33分22秒 UTC+9 Takashi Okumura:

お返事が遅くなり申し訳ありません。
学習速度の大幅な改善、何よりでした。
また、情報の整理、誠に有難う御座いました。大変助かります。

> 弊社側で作成させて頂いたアルファベットモデルは、共有させて頂いております
> とおり、ベースは下記を利用しておりますが、利用許諾(研究目的なら利用可能)が
> やや気になっています。http://etlcdb.db.aist.go.jp/
> 念のため完全オリジナルデータのデータセットを目指したいという点と、継続
> 利用するにあたっても精度向上の必要性を感じている為、データ収集を開始した
> ところです。

FaxOCRは、一回システムが動いてしまえば、サンプル収集用のシートを
大勢に手書きして頂くだけで、結構な数の手書き文字データセットを
効率的に収集できます。それで、 Creative Commons BY的なライセンスに
してしまえれば、後顧の憂いも断てますので、有難い方向性です。

先日の実験で集めたファイルも、同じ扱いとさせて頂きますので、
データが少しでも増えればと願っております。

まずは現状のデータ整理、感謝申し上げます。


奥村 貴史

2020年4月28日(火) 11:00 Shigeru Shiozawa Pernilla Dahlstrand

<shigeru...@gmail.com>:

> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/753c1809-ac51-4338-83b2-728e4fb39b23%40googlegroups.com にアクセスしてください。

[Takashi Okumura]

ご報告、ありがとうございました。また、詳細なレポートを感謝
申し上げます。下記にコメントを記させて頂きます。

こちらでも、今まで皆さんにcontributeして頂いた成果の統合作業
を準備していたところでしたので、この機会に情報共有させて
頂ければ幸いです。こちらの点は、文末に記させて頂きます。
(少し長文となってしまいましたが、どうかお許しください)

* Crop処理について

まず、crop処理の2行の修正提案、具体的にどの行か、わかります
でしょうか。意図的に、欠損を生じるような切り方をするとは思え
ないので、何か理由があったと思うのですけれども。

なお、kocrは、モノクロなfaxocrでの利用を想定したエンジンで、
罫線を色フィルタでdropoutできない前提であるため、罫線混入画像
をどうにかこうにか読むためのdirty hackがいろいろ入っています。
その一環で、なるべくマージンを大きく取って切り取っている箇所
があるはずで、その影響も少し懸念されます。また、「そもそも枠
からはみ出して書かれた」数字の認識率を上げるために、あえて
トレーニングデータに欠損画像を入れて学習させています。これは、
後述するアルファベットの認識とちょっと相性が悪いかも知れませ
んね。

　https://sites.google.com/site/faxocr2010/systemrequirements/kocr/nandokudata

いずれにせよ、お送りくださった認識ミス、どうにも気持ち悪い
ミスが多い気がしますので、できる範囲で改良できればと願って
おります。ただ、その切り出しが、kocr側の問題なのか、sheetreader
側の問題なのか、ちょっとまだクリアでないため、もう少し情報を
頂ければ助かります。

* Fax OCRシステムの不具合

「FAXOCRを稼働させ、実際にFAXを受信、アプリの動作確認を行った
際に発生した事象」ですが、L的なアルファベットの認識、罫線関係の
処理と、けっこう相性が悪いかも知れませんね。

ご指摘の「切り出し画像が入れ替わってしまう問題」ですが、複数ペー
ジを食わせたときに生じる可能性…だとすると、concurrency control上
の問題はありませんでしょうか。まず、複数ページのファックスが
「multipage tiff」としてfaxocrシステムに渡り、ページ毎にバラしたうえ
で、sheetreaderに渡されるはずです。その際、マルチコアによる並列化
のメリットを出すためにsheetreaderが複数呼ばれるはずですが、その
際に正しく処理がなされておらず、切り出した画像を同じディレクトリ
に書きに行く…という可能性です。

sheetreader側にロック機構を設けるのも手ですが、切り出したpage毎に
シリアル番号をつけてsheetreaderを呼ぶだけで解決できそうな気もしま
す。

* sheetreader的crop処理の既知の不具合について

なお、sheetreaderで、認識対象を文字としてでなく画像として切り出す
モードがあり、(faxocrから利用しています)、その処理に際したマージン
の計算が誤っており相当小さく切り出してしまう問題がありました。

この点については、竹内さんが対応するコードを書いて下さったので、
近々、masterに統合される予定です。

* この後の作業について

ということで、現在、多くの方にcontributeして頂いたファイルが、
masterブランチで統合されていない等の問題がありまして、分岐し
たブランチを統合する必要があります。他の既知の問題としまして、
Railsバージョンが古いという問題等もあります。この点は、以前か
ら課題でして、最低限、Rails 4に上げなければ、利用可能なOSや
rubyバージョン、pythonバージョン等で不具合が大きいものと伝え
きいています。(そこで、Rails 4の開発版の準備をして頂く等して
おりました)

というわけで、この後、大きく3つのタスクがあります。
1) 各contributionのmasterブランチへの統合とメジャーバージョンアップ
2) 最新コードを用いた配布用VMイメージの再作成
3) 標準開発環境の準備 (貢献して下さっているとのシンクロ)

このうち、1は、Rails 4版を用意して下さっている竹内さんにお願い
させて頂くのが、混乱を極小化できる印象です。2については、その
うえでVMイメージを作ればよいのかな…くらいに考えていましたが、
最近、VM ware的環境からGPUを利用するのがそこそこハードルが
高いことを知り、2と3を統合することが面倒であることが分かりまし
た。というわけで、3については、青木さん、塩澤さん、山崎さん側
で工夫をしてくださったDockerfileを整理して、標準環境化させて頂
くのが良い気がしています。(うまく、この3のdocker環境から2のVM
イメージを自動生成できるまでに至ればさらに素敵ではありますが)

それで、ご相談なのですけれども、1の作業を進めさせて頂きますの
で、程よいタイミングで、3をアップデートしたうえで、「標準開発
環境」として最新環境をcontributeして頂くことは可能でしょうか。
その際、ポイントがいくつかあります。まず、上述してきたように、
いろいろな方にお送りいただいた作業の成果をマージしますので、
その最新版をベースにして頂きたいと希望しています。また、現在
のDockerfileを拝見したところ、kocrの開発に特化しているようで、
FaxOCRシステムが依存している他の環境についての設定が十分で
ないようです。そこで、以前に構築して頂いたchef-soloの環境設定
ファイルから差分なりの情報をお届けしますので、Dockerfileと程よ
く統合して頂いたうえで、kocr、faxocr、sheetreaerを含む開発が
可能な形にして頂くことは可能でしょうか。

　https://sites.google.com/site/faxocr2010/install-documents/setup-by-chef-solo

ここまで作業が進めば、開発環境がGPU対応となると共に、Docker
イメージの形で開発環境を共有していくことも可能となります。今回
ご指摘下さったfaxocr側のバグや、sheetreaderの切り出しアルゴリズ
ムの修正なども、効率的にmasterブランチに取り込んでいくことが
可能となるかと期待しております。

宜しければ、ご検討を頂けますと幸いです。
どうかよろしくお願い申し上げます。


奥村 貴史

2020年6月2日(火) 14:19 Shigeru Shiozawa <shigeru....@gmail.com>:

> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/df9a4003-7176-479d-aec6-5a60e02b6e4d%40googlegroups.com にアクセスしてください。

[Shigeru Shiozawa]

奥村先生

ご確認ありがとうございます。

過去の改変の経緯なども含め、情報共有ありがとうございます。

>まず、crop処理の2行の修正提案、具体的にどの行か、わかりますでしょうか。

https://github.com/faxocr/kocrのプルリク版（pull/3）をベースとし、下記を変更しております。

■train_cnn.py

1行コメントアウトし、クロップ処理を無効化

# Cropping

   :

- img = img[xs.min(): xs.max() + 1, ys.min(): ys.max() + 1]

---------

+ #img = img[xs.min(): xs.max() + 1, ys.min(): ys.max() + 1]

■kocr_cnn.cpp

1行コメントアウトし、クロップ処理を無効化の上、変更を加えていない画像をセット

- cv::Mat img_crop = img_bw(cv::Rect(x_min, y_min, x_max - x_min + 1, y_max - y_min + 1)).clone();

-------

+ //cv::Mat img_crop = img_bw(cv::Rect(x_min, y_min, x_max - x_min + 1, y_max - y_min + 1)).clone();

+ cv::Mat img_crop = img_bw.clone();

>ご相談なのですけれども、1の作業を進めさせて頂きますので、程よいタイミングで、3をアップデートしたうえで、「標準開発

環境」として最新環境をcontributeして頂くことは可能でしょうか。

小職のチームで対応できる様に善処したいと考えておりますが、本日メンバーが1名お休みを頂いている為、明日以降で内容を整理し、ご回答出来ればと思います。

取り急ぎ、ご回答まで。

塩澤

2020年6月3日水曜日 16時41分22秒 UTC+9 Takashi Okumura:

2020年6月2日(火) 14:19 Shigeru Shiozawa <shigeru...@gmail.com>:

> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/df9a4003-7176-479d-aec6-5a60e02b6e4d%40googlegroups.com にアクセスしてください。

[Takashi Okumura]

コメントありがとうございました。

crop処理、拝見しました。CNN版独自のcrop処理で、僕自身は処理意図
を把握していない箇所でした。

ご提案の評価結果が入っているかと、スライドを拝見すると、
評価手法は入っているものの評価結果が入っていない気がします。
いろいろなテストが可能とは思いますが、個人的には、下記に示して
あるmustreadという難読字データ(今まで、kocrが認識に失敗したこと
のある画像の一覧)でも確認してみて頂ければ、分かりやすくて有難い
ところではあります。

　https://sites.google.com/site/faxocr2010/systemrequirements/kocr/mnist

開発環境のupdateについては、急ぎのお話ではありません。基本的には、
「アクティブに開発をして下さっている塩澤さんグループの開発環境を
標準環境として共有させて頂くのに際し、他の作業の成果を統合させて
頂きたい」という趣旨です。おそらく、今ご利用くださっている環境の
微調整で済むはずではありますので、過度のご負担をお掛けするご相談
ではないことを願っております。

こちらの準備が進み次第、また改めてご相談させて頂けますと幸いです。
引き続きよろしくお願い申し上げます。


奥村 貴史

> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/adb8a30d-34b1-4669-8a4f-24456b46b80a%40googlegroups.com にアクセスしてください。

[Shigeru Shiozawa]

奥村先生

基本的には作業の内容にかかわらず、依頼事項は拾わせて頂きたいと考えていますが、

小職チームが認識している現在の環境と先のメールでご相談頂きました

目指す環境構成の整理をさせて頂きたく、添付の通り、図示、言語化してみました。

進めていく過程の中で、微調整はさせて頂くかもしれませんが、認識齟齬ございましたら、ご指摘を頂けると助かります。

------------ (3)で目指す作業 -------------

現状のリポジトリ構成において、同一ファイルが各リポジトリに点在するするため、

最新のマスタープログラムとして、kocr、faxocr、sheet-readerの３つのリポジトリに集約する。

その結果、kocr-dev、faxocr-docker-imageのDockerは常にマスタープログラムの最新を参照することとなる。

必要に応じて、上記２つのDockerを統合。

-------------------------------------------

また、小職が既存環境仕様を把握するよりも、前任者の方(今回の場合は、青木さんを想定)が作業を行った方がスムーズに作業が進む様な場合は、

前任者の方とご相談をさせて頂けますと幸です。もちろん、小職側でも仕様の把握がスムーズにいくようでしたら、仕様に関する質問程度で、

小職チームにて作業を行う前提で考えております。

>いろいろなテストが可能とは思いますが、個人的には、下記に示して

>あるmustreadという難読字データ(今まで、kocrが認識に失敗したこと

>のある画像の一覧)でも確認してみて頂ければ、分かりやすくて有難い

>ところではあります。

>https://sites.google.com/site/faxocr2010/systemrequirements/kocr/mnist

確かに、既存のデータセットとモデルとの差は、見ておきたいですよね。

週明けになるとは思いますが、クロップ処理有無による評価をさせて頂き、結果をご報告させて

頂ければと思います。

どうぞ、宜しくお願い致します。

塩澤

2020年6月4日木曜日 14時15分16秒 UTC+9 Takashi Okumura:

> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/adb8a30d-34b1-4669-8a4f-24456b46b80a%40googlegroups.com にアクセスしてください。

[Shigeru Shiozawa]

奥村先生

下記の実施を致しましたので、ご報告をさせて頂きます。

>いろいろなテストが可能とは思いますが、個人的には、下記に示して

>あるmustreadという難読字データ(今まで、kocrが認識に失敗したこと

>のある画像の一覧)でも確認してみて頂ければ、分かりやすくて有難い

>ところではあります。

>https://sites.google.com/site/faxocr2010/systemrequirements/kocr/mnist

最新のプログラムでクロップ処理有無それぞれ評価を行いました。(添付を参照)

トレーニング用データセット [中]6709imagesで学習をして、テスト用データセット249imagesで評価検証。

クロップ有り、無し共に5回ずつ再学習を行い評価した結果、平均するとクロップ有りの方がやや認識率は高くなりました。

ベストスコアでの認識率は共に98.8%でした。

今週、新たな手書きデータの追加取得を予定していますので、クレンジング後、大文字と小文字のデータセットを利用し、同様の検証をしたいと考えております。

クレンジング作業に少々時間がかかりますので、来週以降でのご報告になるかと考えております。

取り急ぎ、ご報告まで。

塩澤

2020年6月6日土曜日 13時11分24秒 UTC+9 Shigeru Shiozawa:

[Takashi Okumura]

お忙しいなか、ご確認をありがとうございました。
なんだか不思議な誤認識が入りますね。

> 目指す環境構成の整理をさせて頂きたく、添付の通り、図示、
> 言語化してみました。
> 進めていく過程の中で、微調整はさせて頂くかもしれませんが、
> 認識齟齬ございましたら、ご指摘を頂けると助かります。
>
> ------------ (3)で目指す作業 -------------
> 現状のリポジトリ構成において、同一ファイルが各リポジトリに点在するするため、
> 最新のマスタープログラムとして、kocr、faxocr、sheet-readerの３つのリポジトリに集約する。
> その結果、kocr-dev、faxocr-docker-imageのDockerは常にマスタープログラムの最新を参照することとなる。
> 必要に応じて、上記２つのDockerを統合。
> -------------------------------------------

こちらも、お返事が遅れてしまい申し訳ありません。
kocr側で対応する文字種とモデルが増えると、
sheetreader、faxocrにおける関連箇所も必然的に修正が必要となって
いきます。それが、現在、それぞれコードが依存している外部ライブラリ
や処理系のバージョンが古いことに加えて、寄贈コードが統合されて
いません。また、ここ数ヶ月の作業で何箇所かバグも見つかっており、
そのバグフィックスのコードもあります。(PDF生成倍率や、スキャン
画像からの切り出しマージン計算等)

ということで、遅かれ早かれ、環境の整理が必要となっていました。
基本的に、依存ライブラリのバージョンを上げる操作が中心ですので、
塩澤さん方面の開発環境へのインパクトは極小化されているものと
理解しています。

おそらくですが、今後のmasterブランチの整理の際に、リリース用の
STABLEブランチとCURRENTブランチとを作り、安定版と開発版を
明確に定義するのがよいのかなと考えています。

ということで、どうにかこうにか調整をさせて頂きますので、
またご相談させて頂けますと大変助かります。

ご連絡を誠に有難う御座いました。


奥村 貴史

> --
> このメールは Google グループのグループ「faxocr」に登録しているユーザーに送られています。

> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/da4845b5-9443-40d8-8152-52224cc7b507o%40googlegroups.com にアクセスしてください。

[Takashi Okumura]

一点、追加です。

> また、ここ数ヶ月の作業で何箇所かバグも見つかっており、
> そのバグフィックスのコードもあります。(PDF生成倍率や、スキャン
> 画像からの切り出しマージン計算等)

書き忘れていたのですけれども、先日ご報告を頂いた、「複数ファックス
の同時処理時に生じる切り出し画像の取り違えが生じる」という障害で
すが、並列化処理のバグであることが確定しました。こちらも、最新版
ではパッチを当てさせて頂く予定でおります。


奥村 貴史

[Shigeru Shiozawa]

奥村先生

ご回答ありがとうございます。

バグ修正、依存環境のライブラリ、環境整理の件、承知致しました。

先生側作業が進み、小職チーム側での作業が必要なタイミングになりましたら、

ご連絡頂けますと助かります。それまでは、アルファベット精度向上作業をさせて頂こうと思います。

引き続き、宜しくお願い致します。

塩澤

2020年6月8日月曜日 14時14分40秒 UTC+9 Takashi Okumura:

> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/da4845b5-9443-40d8-8152-52224cc7b507o%40googlegroups.com にアクセスしてください。

[Shigeru Shiozawa]

奥村先生

お世話になります｡リクルートの塩澤です｡

前回から時間がかかってしまいましたが、

弊社側で集めたオリジナル手書き文字のデータセットを利用して、

アルファベットの学習、評価を行いましたので、共有をさせて頂きます。

■概要

Shinsai OCR用途の手書き文字協力をして下さることに同意をしてくださった方々のデータを活用し、

大文字、小文字の評価を行いました。

前回のご報告は、クロップ、拡張処理を行うことによって、別の文字として誤認してしまうリスクを

共有させて頂きました。※添付のPowerPoint資料
今回、大文字、小文字のクロップ処理「有り」と「無し」を、それぞれ5回ずつ学習/評価を繰り返した
結果が添付のExcelとなります。

■結果

アルファベットの場合、クロップ処理を無効にすることで、品質向上することが確認できました。

■考察

今回の検証結果は、現時点で我々が保有しているデータでの結果でありますので、今後データ量が

増えることによって、差は小さくなる可能性もございます。

数字記号モデルの場合は、前回の報告内容の通り、クロップ有りの方が精度が高くなりました。

各モデルの学習と認識時を別々の処理内容で行うことによる影響も出ると思いますので、

作業工数等も含め、ご判断をして頂ければと思っています。

ご確認の程、宜しくお願い致します。

2020年6月8日月曜日 15時17分00秒 UTC+9 Shigeru Shiozawa:

[Takashi Okumura]

ありがとうございました。

元のcroppingの意図がよくわかりませんよね。特に、
罫線以外のストロークを横切って切ることの意図が
よくわかりません。

プロジェクト側としては、多くの方のcontributionの統合作業を
進めていまして、もう直ぐ、統合版の最新ブランチを公開できる
と思います。そこでは、GPU的学習環境のチェック等も必要であ
るため、宜しければ、公開後、塩澤さんグループの開発環境を
統合頂ければ助かります。

組織間での情報共有におけるFaxの効率性が、少し見直される
雰囲気がでてきていますので、どうか引き続き宜しくお願い
申し上げます。


奥村 貴史

> --
> このメールは Google グループのグループ「faxocr」に登録しているユーザーに送られています。

> このグループから退会し、グループからのメールの配信を停止するには faxocr+un...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/32e868d3-8189-4db2-868a-4c22b905888co%40googlegroups.com にアクセスしてください。

[Shigeru Shiozawa]

奥村先生

ご確認ありがとうございました。

最新ブランチ公開後、弊社側の環境も統合の件、承知致しました。

公開後、対応させて頂ければと思います。

引き続き、どうぞ、宜しくお願い致します。

塩澤

2020年7月17日金曜日 14時35分55秒 UTC+9 Takashi Okumura:

> このグループから退会し、グループからのメールの配信を停止するには fax...@googlegroups.com にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/faxocr/32e868d3-8189-4db2-868a-4c22b905888co%40googlegroups.com にアクセスしてください。