Yaessログの警告について

25 views
Skip to first unread message

ハピタン

unread,
Sep 20, 2017, 4:55:30 AM9/20/17
to Asakusa Frameworkメーリングリスト
バッチを実行したときに以下のログが出力されるのですが原因は何でしょうか
WARN stage.AbstractCleanupStageClient : Cleanup target is missing

KAWAGUCHI, Akira

unread,
Sep 22, 2017, 2:07:27 AM9/22/17
to Asakusa Frameworkメーリングリスト
かわぐちです。

YAESSはバッチの終了時にテンポラリ領域として使用した
作業ディレクトリをクリーニング(削除)しますが、
その際クリーニング対象のディレクトリが存在しなかった場合にこのログが出力されます。

バッチの正常終了時にこのログが出る場合は環境の問題、もしくはAsakusa側の問題があるかもしれませんが、
より具体的な原因を調べるには、再現が確認出来る情報が必要そうです。

ハピタン

unread,
Sep 24, 2017, 9:37:30 PM9/24/17
to Asakusa Frameworkメーリングリスト
返信ありがとうございます。

HDFS領域の再構築はしてみたのですが状態は変わらずです。
またバッチ自体は正常に終了しますが
ジョブAで中間ファイルをHDFS上に出力し、
ジョブBで中間ファイルを処理し成果物をHDFSに
出力するのですが成果物が作成されない
といった状況です。

Asakusa側も何度か再配置しているのですがどこかにゴミ?が残っているのでしょうか。

またHadoopのログには
RMContainerAllocato : Container complete event for unknown container id container_************
といったログも出ておりました。

KAWAGUCHI, Akira

unread,
Sep 24, 2017, 10:32:41 PM9/24/17
to Asakusa Frameworkメーリングリスト
かわぐちです。

> Asakusa側も何度か再配置しているのですがどこかにゴミ?が残っているのでしょうか。

メールに記載の情報のみだとなんとも言えないのですが、
どこかにゴミが残っていることでYAESSのWARNログがでたり、出力が生成されないと
いった状況はちょっと考えにくいです。

> またHadoopのログには
> RMContainerAllocato : Container complete event for unknown container id container_************
> といったログも出ておりました。

これはHadoop(YARN)側の環境設定に問題があることで出力されるログのように思われます。

Reply all
Reply to author
Forward
0 new messages