CNNでの文書分類時のbackwardが環境によって遅くなる

[田中光一]

こんばんは．

普段からChainerを使わせていただいております．田中と申します．

CNNで文書のポジネが分類を行おうとしているのですが，Chainerを使用するマシンによって速度が大幅に遅くなってしまいます．

速度が遅くなってしまう方はGPU，CPU共にスペックが上なので，スペックの問題ではないと思います．

スペックですが，速度について問題ない方のマシンスペックが，

CentOS7.1 GeForce GTX TITAN X 

問題ある方のマシンスペックが，

CentOS7.2 Tesla M40 

となっております．どちらもpyenv環境のPython3.4.3，Chainerのバージョンは1.19.0です．

Chainerで使用したモデルは下のURLと同じで，pretrainのベクトルに300次元のword2vecで学習したベクトルを用いています．

http://qiita.com/ichiroex/items/f225f6d8eceb6796cc7e

速度が遅い方について，コメントアウトしながら各記述部分の速度を確認したところ，trainingのloss.backward()で異常に時間がかかっているようでした．

両環境ともChainerのexampleのmnistやptbのコードは問題なく動き，かつ，速度も問題ない（極端に速度が遅くなったりしない）ので原因が特定できず困り果てております．

使用しているコードと両環境のnvprofも添付します．

fastが問題ない方で，slowが速度が遅い方のnvprofログです．

何卒よろしくお願いします．

[田中光一]

追記ですが，遅い方はnvidia-smi -l でGPU-Utilが100%になっているのでGPUリソースを使えていないということはなさそうでした．

また，精度については両者問題ありません．Teslaの方は速度がひたすらに遅いです．

[田中光一]

自己解決いたしました．

どうやらcuDNNの問題のようです．

遅い方はCuda7.5でcuDNN 5.0を使用していたのですが，早い方はCuda7.5でcuDNN 2.0でした．

遅い方のCuDNNを5.0から2.0に落として実行してみたところ実行速度の問題がなくなりました．

（Tensorflowでも似たようなissueがあるようでした．https://github.com/tensorflow/tensorflow/issues/1772）

[okuta]

cuDNNですが、v5.1がリリースされています。

そちらの方は試されていますか？

5.0は何らかの理由で非推奨だった記憶があります。

2017年1月4日水曜日 10時02分15秒 UTC+9 田中光一:

[田中光一]

返信ありがとうございます．

v5.1を試してみましたが，遅くなってしまうようです．

2017年1月5日木曜日 9時53分58秒 UTC+9 okuta:

cuDNNですが、v5.1がリリースされています。

そちらの方は試されていますか？

5.0は何らかの理由で非推奨だった記憶があります。

[okuta]

検証ありがとうございます。

2017年1月5日木曜日 10時18分36秒 UTC+9 田中光一:

[okuta]

原因がおそらく分かりました。

cuDNNはv4以上では一時メモリの最大使用量に応じてアルゴリズムを選択する機能が追加されています。

使う一時メモリの量は次の関数で制御可能です。

http://docs.chainer.org/en/stable/reference/util/cuda.html#chainer.cuda.set_max_workspace_size

Chainerではメモリ量の少ない環境でも動く用に少なめのテンポラリサイズを使っています。

田中さんの使っているGPUによりますが、1G程度の大きめのサイズを指定すると問題を切り分けやすくなるかと思います。

2017年1月5日木曜日 10時18分36秒 UTC+9 田中光一: