局面認識における駒認識について

[サード]

はじめて投稿してみます。ちなみにニックネームを「サード」にしてみました。１発目ということもあり、長文ですみません。

「局面認識」では、リアルの将棋盤面をスマートフォンで上から撮影して、画像解析を行い局面を認識することが目標のひとつです。（あってますよね？）

駒を認識するアプローチとして、２つ考えてみました。
---------------------------
（１）OpenCVを用いて、駒を物体認識する。そのためには、駒が映った写真を大量に撮影して学習を行う必要がある。学習にもOpenCVを利用。

（２）OCR（光学式文字読取）を組み込んで駒の文字認識を行う。（OCRにかける前に、検出しやすいようOpenCVで画像処理してあげたほうがよい
のかもしれません。）
---------------------------
（１）のメリットとデメリットは例えば以下の通り。
・メリット：一般的に駒にはいろいろな書体や字数（１字駒／２字駒）、色（黒／赤）がありますが、解析したい駒種を決め打ちで学習してよいのならば、高
い精度が得られそう
・デメリット：複数の種類の駒に対応する場合、それぞれの駒画像で学習しないと高い精度が得られない

（２）のメリットとデメリットは例えば以下の通り。
・メリット：デフォルトでさまざまな書体に対応できる
・デメリット：デフォルトで持っている学習データは、将棋の駒の文字の学習に限定されていないので、違う文字として結果が返ってくることが起こりうる。
また、学習データのファイルサイズが大きく冗長（私の推測）。

（１）のデメリット解消のため、また、ginsho(仮)会がねこまどさんのご尽力もあってスタートしたことに敬意を表して、まずは私が先日まどかさん
にいただいたねこまど謹製の一字駒に決め打ちしたいと思います。この駒はオーソドックスな書体の一字駒であり、また、文字部分の彫りがわずかで平坦なた
め、変に光で文字部が白く光ってしまうこともなさそうで、認識しやすいかもしれません（一字駒と二字駒のどちらのほうが精度が上がるのかはわかりませ
ん。情報量が多い二字の方が高い？）。
それで、できればこの駒で学習をしたいのですが、私の所有しているMacBook Airでは非力すぎて使い物になりません。どなたかご協力いただけな
いでしょうか？写真を撮って正解画像を収集するという泥臭い作業は私が担当いたします。私の得意分野です（笑。とはいえできれば協力者募集）。

なお（２）のほうも平行して進めたくて、現在「Tesseract OCR」というフリーのOCRをiPhoneに組み込もうとしています。スキル不足
なので、こちらもできる方いらっしゃいましたらご協力お願いします。とりあえず、日本語の書かれたTiffファイルをMac上で解析するところまではで
きました。

[Kawasaki Tomohide]

Hidetchiです．
サードさん，さすが仕事が早いですね．

(1)の方を本筋として進めるのが良いように思います．
この機能を本当に使いたいのはヘビーユーザだと思うので，
(例: 本を書く人→局面を駒で作ってバシバシ図面化したい人)
「駒の種類を限定してもいいからとにかく精度が欲しい」というのがニーズだと思います．

ここで出来た技術がもし棋戦中継に使われるということになれば，
やはり精度が第一ですし，使われる駒を個別に学習させるのが一番だと思います．

また，iPhoneアプリなどで一般ユーザが使えるものになるなら，
最初の設定で，自分の駒の写真を取りまくって学習する機能をつけると良さそうですね．
あるいは，ねこまどの一字駒を買って下さい，でいいかも．

持ち駒は，適当に置いてあるとすると，どれぐらい精度よく認識できるんでしょうか．
持ち駒については，画像認識ではなく手入力のオプションがあってもいいかも，と思いました．
　①盤面だけの写真を撮る
　②解析時間を利用して...
　③先手のみ持ち駒を入力する (飛角金銀桂香歩 7個のリールドラムがあればOK)
　④結果表示
のような手順で．

(2)の方も平行して進められるのも良いと思います．
どれぐらい精度が出るのか興味があります．
長禄みたいなマニアックな書体は無理な気がしますけど．

2011/9/13 サード <thirdf...@gmail.com>

[fantakeshi]

fantakeshiです。
ご参考まで、同様の主旨の研究は３年ほど前にゲームプログラミングワークショップで論文として出されています。

http://www-tsujii.is.s.u-tokyo.ac.jp/members/wiki/wiki.cgi?page=Makoto+Miwa
＞栗田哲平，三輪誠，近山隆. 将棋盤を対象とした画像情報を用いた自動局面認識手法. 第12回ゲームプログラミングワークショップ2007,
pp. 172--179, November 2007.

それで、ついこないだまで論文本体がWeb上に上がっていたんですが、
なぜか消されちゃったんですよね。残念。
しかし、Googleにキャッシュが残っていました。
http://goo.gl/m55dO
（リンク先はGoogle Docsです)

駒そのものの認識については3.2.3 で述べられてますが詳細については書いてません。
駒の種類については決め打ちだと思われます。

持ち駒についてはこの論文でも解決はされていないのですが、この論文の主目的は棋譜を自動で採譜するというのが目的なので、
初期配置については決め打ちをした駒を動かした部分について認識をするという方法で持ち駒の問題を解決していると思います。
つまり、任意の盤面を写メして局面図にする、という目的からは若干外れているかもしれませんね。

この論文によれば、駒の場所を特定するのが難しく、
駒の認識そのものはそんなでもないという印象もうけるのですがどうなんでしょうか。
ただ、駒の認識で対象としているのが駒台から打った駒だけなので、
成駒などは対象になっていません。そのあたりも気になるところです。

On 9月13日, 午後11:45, Kawasaki Tomohide <hidet...@81dojo.com> wrote:
> Hidetchiです．
> サードさん，さすが仕事が早いですね．
>
> (1)の方を本筋として進めるのが良いように思います．
> この機能を本当に使いたいのはヘビーユーザだと思うので，
> (例: 本を書く人→局面を駒で作ってバシバシ図面化したい人)
> 「駒の種類を限定してもいいからとにかく精度が欲しい」というのがニーズだと思います．
>
> ここで出来た技術がもし棋戦中継に使われるということになれば，
> やはり精度が第一ですし，使われる駒を個別に学習させるのが一番だと思います．
>
> また，iPhoneアプリなどで一般ユーザが使えるものになるなら，
> 最初の設定で，自分の駒の写真を取りまくって学習する機能をつけると良さそうですね．
> あるいは，ねこまどの一字駒を買って下さい，でいいかも．
>
> 持ち駒は，適当に置いてあるとすると，どれぐらい精度よく認識できるんでしょうか．
> 持ち駒については，画像認識ではなく手入力のオプションがあってもいいかも，と思いました．
> ①盤面だけの写真を撮る
> ②解析時間を利用して...
> ③先手のみ持ち駒を入力する (飛角金銀桂香歩 7個のリールドラムがあればOK)
> ④結果表示
> のような手順で．
>
> (2)の方も平行して進められるのも良いと思います．
> どれぐらい精度が出るのか興味があります．
> 長禄みたいなマニアックな書体は無理な気がしますけど．
>

> 2011/9/13 サード <thirdfiler...@gmail.com>

[まどか]

北尾です。
ずっとずっと、あったらいいなぁと思っていたので
このプロジェクトがスタートして本当に嬉しいです。
これだけ優秀な方々と情熱が合わされば、きっといいものができる!!
すごく期待しています。ありがとうございます!!!

>「局面認識」では、リアルの将棋盤面をスマートフォンで上から撮影して、画像解析を行い局面を認識することが目標のひとつです。（あってますよね？）

あってます。
そしてその解析されたものが
1.図面（jpg.gifなど画像ファイルとして保存できること）
2.kifu for winほか棋譜ビューワで再現できるようになること
が、できるようになったら素晴らしいと思っています。

例となる光景
・大会などで、研究したい局面が発生する→携帯で写真とる→図面を手で入力してメールや掲示板に張ったり、自分で考える
・詰将棋を出題されて、その場でとけないときに写真を撮ってストックし、あとで考える

メモ代わりに写メを撮るというのが、よく行われているのですが、それを写真という管理でなくもう一歩進めて
収集も発信もしやすいように変えたい、というのが希望です。

私はライターや教室講師という仕事がありますので、
図面をつくる作業は多く、たとえば間違えて出力し訂正のためにまた全部並べて、作り直し、というのがとても大変です。
（画像で修正してもいいんですけどね）

出力した図面から呼び出せたらいいのに～といつも思います。

プログラムの知識はないので、ユーザー側の意見（しかも贅沢な!!）しかだせませんが
頭の引き出しにいれていただければ幸いです。

On 9月14日, 午前1:22, fantakeshi <fantakes...@gmail.com> wrote:
> fantakeshiです。
> ご参考まで、同様の主旨の研究は３年ほど前にゲームプログラミングワークショップで論文として出されています。
>
> http://www-tsujii.is.s.u-tokyo.ac.jp/members/wiki/wiki.cgi?page=Makot...

[ginsho]

どうもです、ginshoです。
ちょっとテンポが遅れててすみません。

北尾さんの投稿にある利用シーンを考えると、大会や教室といった現場はプラ駒使用率が
高いのではと思ってます。たぶん「歩心」あたりが多いのではないかと思っているのですが。

なので最初のうちはねこまど一字駒のほか、北尾さんに現場利用率の高いプラ駒数種をピック
していただいて、それを優先的に学習させた方が少ないサンプル数で結果を出しやすいのかもと
思ったりしましたがどうでしょう？

iPhone内蔵カメラの低い性能を考えると、認識エンジンはロークオリティな画像ソースとの
格闘を強いられそうな気がするので、openCVとOCRそれぞれの限界が早期にわかった方が後の
チューニングを進めやすくなるかなと。

あ、こういった技術はまったく門外漢ですので、頓珍漢なことを言ってましたらご容赦ください。。

[Madoka Kitao]

プラ駒の歩心もいれてほしいですね。
これまでの普及率は圧倒的にそちらの方が高いですし。
ただし、今後は「プラより木がいい」という時代の流れになっていくような気がします。
というわけで、ダイソーの番太郎スタンプ駒も読み込めたらいいですね。

図面と局面の近さという話では
二字駒の一字が省かれた図面と、一字駒が図面化したのと
どっちが親しみやすいか、という話。

また違った視点で、おおきな森のどうぶつしょうぎの局面図を撮ったとしても
図面化（通常の明朝の図面）されるようになると面白いと思いますし、
またはプラ駒の図面の写真を撮ったけど、hidetchi駒を選択して出力される、なんていう世界もありかと。
デジタル上では姿が容易に変えられる、という利点が生かせるといいな。

それにしても、局面を図面用紙で手書きしなきゃいけなかった時代を思うと凄い進歩ですね。

[T. Kawasaki]

Hidetchiです

> 例となる光景
> ・大会などで、研究したい局面が発生する→携帯で写真とる→図面を手で入力してメールや掲示板に張ったり、自分で考える
>

なるほど，そういうライトユースの需要もあるのですね．
それなら(2)の方法でどこまでいけるのかは確かに試してみる方がいいですね．

> 私はライターや教室講師という仕事がありますので、
> 図面をつくる作業は多く、たとえば間違えて出力し訂正のためにまた全部並べて、作り直し、というのがとても大変です。
>

ということは，本物の盤駒を撮る以前に，
そもそも図面を撮りたいというニーズがあるんですね．
他にも，詰将棋の本で，解けない問題があり，
それを撮ってソフトで動かして考えたり，エンジンに解かせたり，など．
これらの場合も，(2)の方法が良さそうです．

[Madoka Kitao]

この件、本物の盤駒の写真を撮る、ということに焦点があてられていて
もちろんその需要が一番高い（ユーザーが多い）と思うのですが、

私がまず第一段階として考えたのは、
「柿木で出力した図面を、kifファイルに戻せないか」と、
（棋譜のコピーペーストは読み込んでくれるのに～）
「定跡本などをスキャンしてそのままkifファイルに保存できたら便利だな」です。
手入力の手間が省けたら棋譜のデータベース化はものすごく充実すると思います。

たとえば昔の新聞記事をスキャンするだけでDBに流し込める。
将棋年鑑をざくざく読み込めたらすごく便利。
それをスマホで持ち歩けたら、どこでも暇なときに鑑賞できるし。
この将棋がかっこいいんだよーって見せたりメールで送ることが簡単になると思います。
そんなソフトが安価であったら、将棋の全体的なレベルは飛躍的に向上するんではないか、と。
※（脱線）こんな便利なものができちゃったら、棋譜著作権についての話は吹っ飛びそうな気がしますね

これをこの場で発言するのはちょっと勇気がいるんですが（オープン掲示板なので、という意味）
私は「棋譜並べ」という勉強法を捨てました。（あえてやらないことにしています）
もちろん手で並べて、体で覚えるのは大切だと分かっています。
でも、もっと現代的で効率の良い方法があると思っているので。
※将棋をはじめた頃は一日20局の棋譜並べが日課でした。

付随してもうひとつ。
私はもともと音楽畑の人間で、「棋譜」と「楽譜」を比較するのですが
楽譜OCRはないかなーっと思って検索したら、やっぱりありました。
http://www.kawai.co.jp/cmusic/products/sm/index.htm

楽譜をデジカメで取ってみるという発想をした人もいるようです。
http://members.jcom.home.ne.jp/niso/page1.html

局面を撮って、データに落とす、というのはさらに一歩進んだ発想ですが

音楽で言えば、鳴っている音をデータ化するということで
http://sound-technics.com/
上記のようなソフトにあたるでしょうか。

思いが強くて、つい長文になりました。失礼しました～。

[Kawasaki Tomohide]

Hidetchiです．

私がまず第一段階として考えたのは、
「柿木で出力した図面を、kifファイルに戻せないか」と、
（棋譜のコピーペーストは読み込んでくれるのに～）
「定跡本などをスキャンしてそのままkifファイルに保存できたら便利だな」です。
手入力の手間が省けたら棋譜のデータベース化はものすごく充実すると思います。

たとえば昔の新聞記事をスキャンするだけでDBに流し込める。
将棋年鑑をざくざく読み込めたらすごく便利。

図面や棋譜をスキャンする方向の話を進めていく場合，
銀星将棋の機能とかぶったことをやってしまうので，
一応向こうの実力は確認しておきたいですね．
関係者とお知り合いであれば，プロジェクトに入ってもらうとか．

私は「棋譜並べ」という勉強法を捨てました。（あえてやらないことにしています）

「本物の盤駒を使って」並べることはやめたってことですね．
パソコンで並べたり，棋譜を見て頭の中で並べたりも，私は「棋譜並べ」と呼ぶんですが．
(そういうこともやりません，という意味じゃないですよね)

楽譜OCRは，私が持ってる「Finale」というソフトも出来るんですが，
やはり精度はいまいちだった気がします．

[サード]

一回投稿したんですが、うまくいかなかったみたいなので、もう一度トライします。

（１）の難点ですが、学習に必要な画像数です。100枚とか200枚とかいうレベルではありません。
学習に用いる上で効率的なサンプル数は，正解画像7000枚，非正解画像3000枚とかそういうレベルです。
詳しくは、例えば以下のサイトを参照ください。
特集：OpenCVで学ぶ画像認識｜gihyo.jp … 技術評論社 http://gihyo.jp/dev/feature/01/opencv
とはいえ本当に正解画像を7000枚用意しなくてもよく、正解画像１枚から、ゆがませたりして任意の数の画像を生成してくれるツールもOpenCVに
入っています。ただし歪ませた結果どんな角度から対象物を撮影しても現実にはありえない画像が正解画像となるリスクが大いにあるので、精度が下がりま
す。ですので、できれば頑張って7000枚に近づけたいと考えています。でもこれが　×駒の種類　になってくるわけで・・・。個人的には、非常に良く見
かけるプラ駒（歩心っていうんですか？）もひかれるんですが、「ねこまどの一字駒を買って下さい」も十分ありかなとも思います。

持ち駒を無意識のうちにうまくユーザーに並べさせて撮影させたり、撮影後「これでよろしいですか？」「OK／手動編集／撮直し」と選択するような、撮影
から完了までのUIやフローは一応考えています。イメージが湧いて良いと思うので、資料作って近々どこかに置きたいと思います。Hidetchiさんの
案も取り入れたいです。
ちなみにアプリの起動時、一般的なカメラアプリと同様「カメラで撮影」「アルバムから」と選べるといいと思うんですが、後者ではkif for win
などから書き出したgifファイルを選んで局面読み出せてもうれしいですよね。夢は実現性はともかく勝手に広がります（笑）。
fantakeshiさんが紹介してくれた論文は以前読んだのですが、ご指摘の通り初形から始まっているのはお得ですよね。駒の認識精度が非常に高い秘
訣を知りたいです。

[Madoka Kitao]

Hidetchiさん

>「本物の盤駒を使って」並べることはやめたってことですね．
>パソコンで並べたり，棋譜を見て頭の中で並べたりも，私は「棋譜並べ」と呼ぶんですが．

ご指摘のとおりで、「リアル盤駒」を使わないってことです。
「並べ」→自力で動かすのは、「棋譜を見る」というのとちょっと違うという感覚?
プロの棋譜データベースは見ます。

サードさん

7000枚!!
※リンク先をさわりだけ読んでちょっぴりだけイメージ掴めました。

えーと、具体的にはどんな作業でしょうか。
一つの駒の写真を、いろんな条件（明るさとか、背景とか、距離とか、周囲に駒があったりとか）を変えて撮るのが7000枚?

>ちなみにアプリの起動時、一般的なカメラアプリと同様「カメラで撮影」「アルバムから」と選べるといいと思うんですが、後者では>kif for win などから書き出したgifファイルを選んで局面読み出せてもうれしいですよね。夢は実現性はともかく勝手に広がります（笑）。

そうそう!!できたらすごく便利～。

めちゃめちゃ楽しくなってきました!!

また脱線しますが、どうぶつしょうぎで試すのもありかと思いました。
駒少なくて、バリエーションもほぼなくて、同一の企画が世間に34万部出回っているので。
すでに私のパソコンには局面図の撮り溜めが山のように…。
そもそも長方形なので、写真撮りやすいんですよね。

…でも、研究する需要がないか（笑）

On Sep 14, 11:56 pm, サード <thirdfiler...@gmail.com> wrote:
> 一回投稿したんですが、うまくいかなかったみたいなので、もう一度トライします。
>
> （１）の難点ですが、学習に必要な画像数です。100枚とか200枚とかいうレベルではありません。
> 学習に用いる上で効率的なサンプル数は，正解画像7000枚，非正解画像3000枚とかそういうレベルです。
> 詳しくは、例えば以下のサイトを参照ください。

> 特集：OpenCVで学ぶ画像認識｜gihyo.jp … 技術評論社http://gihyo.jp/dev/feature/01/opencv

[Madoka Kitao]

北尾です。

連投すみません。
7000枚ってすごい数ですが、動画を割ることはできないんですか?
ものすごく環境の違う7000枚が違うということでしょうか?

[サード]

> 一つの駒の写真を、いろんな条件（明るさとか、背景とか、距離とか、周囲に駒があったりとか）
> を変えて撮るのが7000枚?

そうです。ちなみに、例えば歩は１つの局面に（成っていなければ）１８個あるので、
１８枚分と数えることができます。
人間の目には同じようでも、コンピュータから見ると角度や色合いが若干異なるので、使えます。

みなさん、まずはどうぶつしょうぎからはじめていいですか？
どうぶつしょうぎなら駒の種類が少ないし、区別も付きやすいです。
導入として非常にやりやすい。
文字じゃないので、（２）の手法はありえず、（１）のみに専念できます。
北尾さんの写真画像もあるし。
駒数少ないし簡単に並べられるので、アプリ作っても需要は少ないと思いますが(^^;
うまくいったら９×９将棋にステップアップしましょう。
できれば明日どうぶつしょうぎ買ってきます！
実は生後三ヶ月の娘がいて(*^_^*)、数年後に買ってあげようと考えていたんですが、前倒しします。
（将来どうぶつしょうぎのイベントとかに連れて行ければと思います。）

> 北尾さん
盤面をアップで横から（プレーヤーが左右にいる向き）撮影した画像がいいです。
できるだけ真上から撮っているものがなお良し。環境が違う方が良いと思います。
動画から静止画抜き出すと、解像度が悪いかもしれませんが、試せるのならばお願いします。
ただ、あまりに連続する静止画だと違いがなさすぎるのでNGかな。

[サード]

はじめに

>> 一つの駒の写真を、いろんな条件（明るさとか、背景とか、距離とか、周囲に駒があったりとか）
>> を変えて撮るのが7000枚?
>そうです。

と書いてしまいましたが、最後に書いてある方が正しいです。
・真上に近い位置から
・横向き（プレーヤーが左右にいる向き）で撮ってある
・どアップのほうがベター
・いろいろな明るさで撮ったものがあると良い

背景や周囲はなんでもいいです。駒の部分のみ切り取って学習にかけることになるので。

[Madoka Kitao]

北尾です。

画像、ひとまず、Dropboxにフォルダを作ってサードさんをお誘いしてみました。
大抵iphoneで撮影したものです。
こんな感じでいいですか?

※おまけとして、つかっているシーンや別タイプを入れておきました。

[サード]

ありがとうございました。
とりあえず使えそうな写真やPNGデータを一通りローカルにダウンロードさせていただきました。
（動画とPDFは使わなそうなのでやめておきました。）

問題無いようでしたらそのままDropboxに置いておいてください。
写真増やしていただいてもかまいません。その際はご連絡ください。

[Madoka Kitao]

サードさんへ

0920というフォルダに写真追加しました。

空側を手前にした写真や、わざと盤面が欠けた写真もとってみました。
使えそうなのがありましたら。

北尾

[サード]

ありがとうございます。
今のところ写真20枚位から80駒分くらい切り取ったところで
作業が止まってしまっているんですが、
明日からまた再開します。

ちなみにevernoteに文章検出機能および
APIがあるのを知って、棋泉で出力した
局面図をいろいろと読み込んでみたんですが、
将棋向けではないので使い物にならなそうです。
ただし３倍サイズで出力すると検出精度がかなりよくなります。
サイズを限定してよいならば面白いかも。

[サード]

北尾さん、

いただいている写真ですが、にわとりの画像がものすごく少ないです。
写真６０枚分くらい進んでいますが、にわとりがまだ１回しか登場していません（苦笑）。
もしまた追加いただけるとしたら、ひよこでなくにわとりでお願いします。

[Madoka KITAO]

サードさん

駒の画像をひとつずつ切り取るのでしたら
盤面全部ニワトリとかでもいいんですか?

2011年9月24日23:38 サード <thirdf...@gmail.com>:

> --
> ginsho会(仮) - http://groups.google.com/group/shogi-developers
>

[サード]

はい、それがいいです。
さらに持ち駒スペースにも置いてもらえるとなお良しです。

[Madoka KITAO]

撮ってみました～。0925のフォルダにあります。

2011年9月25日16:58 サード <thirdf...@gmail.com>:
> はい、それがいいです。
> さらに持ち駒スペースにも置いてもらえるとなお良しです。

[サード]

ごぶさたしております。

あっという間に10月も終わりとなってしまいました。
いまだ0925フォルダの中身が終わっていないのですが、
何も進捗もなくずるずるきてしまっているので、
ここまでの切り出し画像をDropboxに画像を置きました。
トータルで600個くらいになっています。

単調作業だったり、OpenCVの理解度が低いためこんな切り出しで本当にいいのかと
葛藤しながらだったので、心が折れ気味でした。

この先は、これらの画像から使えそうなのをピックアップして、
create.exeで適当に複製して数を増やして、サイズを30×30とかに整形して、
haartrainingをする、という流れなのかなと考えています。

作った画像を参照したり使用したりしたい方はコメントください。

[サード]

×　進捗もなく　→　○　進捗お知らせもなく
×　create.exe　→　○　createsamples.exe
でした。

[ginsho]

ginshoです。画像にバッチ処理をかけるような作業ならお手伝いしますよ。
一応本職ゆえツールなどは揃っていますので。