Yaessログの警告について

[ハピタン]

バッチを実行したときに以下のログが出力されるのですが原因は何でしょうか
WARN stage.AbstractCleanupStageClient : Cleanup target is missing

[KAWAGUCHI, Akira]

かわぐちです。

YAESSはバッチの終了時にテンポラリ領域として使用した

作業ディレクトリをクリーニング（削除）しますが、

その際クリーニング対象のディレクトリが存在しなかった場合にこのログが出力されます。

バッチの正常終了時にこのログが出る場合は環境の問題、もしくはAsakusa側の問題があるかもしれませんが、

より具体的な原因を調べるには、再現が確認出来る情報が必要そうです。

[ハピタン]

返信ありがとうございます。

HDFS領域の再構築はしてみたのですが状態は変わらずです。
またバッチ自体は正常に終了しますが
ジョブAで中間ファイルをHDFS上に出力し、
ジョブBで中間ファイルを処理し成果物をHDFSに
出力するのですが成果物が作成されない
といった状況です。

Asakusa側も何度か再配置しているのですがどこかにゴミ？が残っているのでしょうか。

またHadoopのログには
RMContainerAllocato : Container complete event for unknown container id container_************
といったログも出ておりました。

[KAWAGUCHI, Akira]

かわぐちです。

> Asakusa側も何度か再配置しているのですがどこかにゴミ？が残っているのでしょうか。

メールに記載の情報のみだとなんとも言えないのですが、

どこかにゴミが残っていることでYAESSのWARNログがでたり、出力が生成されないと

いった状況はちょっと考えにくいです。

> またHadoopのログには
> RMContainerAllocato : Container complete event for unknown container id container_************
> といったログも出ておりました。

これはHadoop(YARN)側の環境設定に問題があることで出力されるログのように思われます。