メモリエラーが出てしまうdb操作について

39 views
Skip to first unread message

warao.shikyo

unread,
Nov 29, 2011, 7:13:50 PM11/29/11
to Google-App-Engine-Japan
一つのモデルにプロパティが300くらいあって
複合検索条件を満たすためにインデックスを20程設定したところ
単純に
hoge.gql(u" ORDER BY ID LIMIT 200")
という操作でさえメモリーエラーが出るようになりました
LIMITを150にするとうまく通ります

これをせめて500以上操作できるようにしたいのですが、どの方法が効果的でしょうか?

モデルを分割して検索条件だけのモデルを作成他のデータはReferencePropertyで紐付けする
モデルを分割して検索条件だけのモデルを作成他のデータは自前のIDで紐付けする
インデックスを整理
_key_で検索しあとから順に取り出す
他の方法

データの分割は結果リストを作成する手間を考えると極力避けたいです
またReferencePropertyで紐付けすると検索に成功しても子データにアクセスした瞬間にメモリが一気に増えるのでしょうか?
インデックスの整理だけでどの程度なんとかなるものでしょうか?
試せばわかることではありますが、どの順番で何を試したらいいかくらいの方向性が見えるとありがたいです。
何かアドバイスをお願いいたします。

najeira

unread,
Dec 1, 2011, 4:56:08 AM12/1/11
to Google-App-Engine-Japan
najeiraです。

メモリエラーが出るということは、
Datastoreから返ってきたデータが大きすぎるということですよね。

なので、インデックスは関係なく、おそらく1つのエンティティ(モデルの実体のことです)の
サイズ自体が大きいものと思われます。

よって
・エンティティのサイズ自体を小さくする(分割など)
・一度に少しずつエンティティを処理する
のいずれかの方法を取るしかないと思います。

あるいは、その処理がユーザのアクセスと関係ないバックグラウンドの処理であれば、
メモリの多いBackendを使えば、大丈夫かもしれません。

参考:
http://code.google.com/intl/ja/appengine/docs/python/config/backends.html#Instance_Classes

warao.shikyo

unread,
Dec 1, 2011, 7:10:17 PM12/1/11
to Google-App-Engine-Japan
najeiraさんありがとうございます。
一応の対策としてSELECT _KEY_ FROM hoge WHERE で検索して読み込むエンティティの数をコントロールしながら
一度に少しずつエンティティを処理することになりそうです。
メモリの多いBackendを使えば、大丈夫かもしれないという情報は初めて知りました。
個別処理の他に一括処理が必要なのでその時活かせられるかもしれません。

対策は思いつくものの常識的な手段や裏技的なものを知らないので質問させていただきました。

ありがとうございました。

> 参考:http://code.google.com/intl/ja/appengine/docs/python/config/backends....

najeira

unread,
Dec 6, 2011, 5:53:01 AM12/6/11
to Google-App-Engine-Japan
najeiraです。

まもなくリリースされる1.6.1から、フロント側のインスタンスも
クラスを選べるようになる可能性があります。

そうすると、バックエンドを使わないでも解決できるかもしれません。

Reply all
Reply to author
Forward
0 new messages