Hadoop上で実データを投入し、Asakusaバッチを実行した所、
Hadoopにて「Error:java heap space」が発生。
Hadoop(MapR)上のヒープメモリの設定は特に変更しておらずデフォルト値のまま。(mapタスク 800MB?)
投入しようとしているデータサイズの合計は980MB。
原因はヒープメモリが少ない為と思いますが、以下確認させて頂きたく。
①AsakusaFWでは、flowpart単位にメモリの開放を実施している?(AsakusaFWコンパイル後のJavaソース参照)
②flowpart内でMasterJoinUpdateを繰り返し行うと中間ファイルの生成の度にヒープメモリを消費する?
③AsakusaDSLコーディングの際は取り扱うデータ量、HadoopのJVMのヒープサイズを意識しながらコーディングしなければならない?
④○○○GBなどヒープメモリのMAXサイズよりも大きいデータを取り扱う場合は小分けにしないといけない?
どうぞよろしくお願いいたします。