DATETIME型で集約関数max、minは使えるのか

[ペガス]

お世話になっております、ペガスです。

DMDL集計モデルの集約関数についての質問になりますが、

max、minはDATETIME型に対して使うことができるのでしょうか。

上記のような処理を実施したところ、

以下に示す警告が出た後にエラーが発生していました。

***警告**

13/01/22 13:45:48 WARN mapred.LocalJobRunner: job_local_0001

java.lang.NullPointerException

        at com.asakusafw.runtime.value.DateTimeOption.get(DateTimeOption.java:58)

        at com.example.batchapp.logaop.vobject.stage0004.MapOutputFragment1.add(MapOutputFragment1.java:30)

        at com.example.batchapp.logaop.vobject.stage0004.MapOutputFragment1.add(MapOutputFragment1.java:9)

        at com.example.batchapp.logaop.vobject.stage0004.MapFragment2.add(MapFragment2.java:25)

        at com.example.batchapp.logaop.vobject.stage0004.StageMapper2.run(StageMapper2.java:32)

        at com.asakusafw.runtime.stage.input.StageInputMapper.run(StageInputMapper.java:51)

        at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:647)

        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:323)

        at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:210)

***エラー***

2013/01/22 13:45:49 ERROR [YS-CORE-E04001] Job "stage0004" execution was failed: batchId=logaop, flowId=vobject, executionId=f3031fb6-9876-41cf-b6d8-f488356f9ac9, phase=main, jobId=stage0004, serviceId=hadoop

com.asakusafw.yaess.basic.ExitCodeException: Unexpected exit code from Hadoop job: code=1 (batch=logaop, flow=vobject, phase=main, stage=stage0004, exection=f3031fb6-9876-41cf-b6d8-f488356f9ac9)

        at com.asakusafw.yaess.basic.ProcessHadoopScriptHandler.execute0(ProcessHadoopScriptHandler.java:217) ~[asakusa-yaess-core-0.2.6.jar:na]

        at com.asakusafw.yaess.basic.ProcessHadoopScriptHandler.execute(ProcessHadoopScriptHandler.java:163) ~[asakusa-yaess-core-0.2.6.jar:na]

        at com.asakusafw.yaess.basic.ProcessHadoopScriptHandler.execute(ProcessHadoopScriptHandler.java:75) ~[asakusa-yaess-core-0.2.6.jar:na]

        at com.asakusafw.yaess.core.task.ScriptJob.execute(ScriptJob.java:59) ~[asakusa-yaess-core-0.2.6.jar:na]

        at com.asakusafw.yaess.core.Job.launch(Job.java:53) ~[asakusa-yaess-core-0.2.6.jar:na]

        at com.asakusafw.yaess.basic.JobExecutor$Executing$1.call(JobExecutor.java:101) [asakusa-yaess-core-0.2.6.jar:na]

        at com.asakusafw.yaess.basic.JobExecutor$Executing$1.call(JobExecutor.java:97) [asakusa-yaess-core-0.2.6.jar:na]

        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:334) [na:1.6.0_24]

        at java.util.concurrent.FutureTask.run(FutureTask.java:166) [na:1.6.0_24]

        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110) [na:1.6.0_24]

        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603) [na:1.6.0_24]

        at java.lang.Thread.run(Thread.java:679) [na:1.6.0_24]

以上、ご確認の程よろしくお願い致します。

[KAWAGUCHI, Akira]

かわぐちです。

> max、minはDATETIME型に対して使うことができるのでしょうか。

DATETIME型にもこれらの集計関数は使うことが出来ますが、

集計関数のmax,minやsumはレコードの値にnullが含まれると

例外を送出するようになっています。

詳しくは以下を参照してください。

http://asakusafw.s3.amazonaws.com/documents/latest/release/ja/html/dsl/operators.html#null

このような場合、集計演算子を適用する前に

分岐演算子などうぃ使ってnullを含むレコードを

除外するなどの方法で対応することができると思います。

2013年1月22日火曜日 14時10分35秒 UTC+9 ペガス:

[ペガス]

かわぐちさん、ご指導ありがとうございます。

確かに集計レコード中にNULLデータがありましたので、

それを除去するようなロジックを組み込んでみます。

2013年1月22日火曜日 20時33分23秒 UTC+9 KAWAGUCHI, Akira: