internal error 질문

[wonhee lee]

안녕하세요.

아래와 같은 쿼리를 수행할때, 종종 에러가 발생하는데요.

default> insert into TB_GS_USER_VOC_DETAIL

> select '2016_05_01_01_raw' reg_date, json_extract_path_text(json_array_get(body.user_voc, 0), '$.voc_type') type, json_extract_path_text(json_array_get(body.user_voc, 0), '$.package_name')

> from tb_2016_05_01_01_raw

> where uri_path = '/gamemode/analysis/update/combination'

> and json_array_length(body.user_voc) = 2;

[=========================================>] 100%  201.504 sec

ERROR: internal error: No such file or directory: s3a://gamemode-tajo-home/tajo/warehouse/default/tb_gs_user_voc_detail/.staging/q_1464077150781_0066/RESULT

default> insert into TB_GS_USER_VOC_DETAIL

> select '2016_05_01_16_raw' reg_date, json_extract_path_text(json_array_get(body.user_voc, 0), '$.voc_type') type, json_extract_path_text(json_array_get(body.user_voc, 0), '$.package_name')

> from tb_2016_05_01_16_raw

> where uri_path = '/gamemode/analysis/update/combination'

> and json_array_length(body.user_voc) = 1;

[=========================================>] 100%  182.809 sec

ERROR: internal error: Status Code: 404, AWS Service: Amazon S3, AWS Request ID: 8756B11E447477EF, AWS Error Code: null, AWS Error Message: Not Found

같은 쿼리를 다시 수행해보면 에러가 안나는데...

어떤 원인이 있을까요?

tb_2016_05_01_16_raw 테이블은 아래 쿼리로 생성합니다.

create external table if not exists tb_2016_05_01_16_raw (*) using json with ('compression.codec'='org.apache.hadoop.io.compress.GzipCodec', 'text.error-tolerance.max-num' = '-1') location 's3://gamemode-statistics/raw/2016-05-01-16';

[Jihoon Son]

안녕하세요, 이 문제는 S3의 eventual consistency 특성 때문인 것으로 보입니다.

이와 관련해서는 몇 가지 이슈가 있으며, https://issues.apache.org/jira/browse/TAJO-1959 에서 진행 상황을 확인하실 수 있습니다.

손지훈 드림

2016년 5월 24일 (화) 오후 8:07, wonhee lee <gugufu...@gmail.com>님이 작성:

[Yongjun Park]

안녕하세요.

EMR을 사용하신다면 EMRFS의 Consistent View기능을 사용하면 S3의 eventually consistent한 특성을 어느 정도 회피할 수 있습니다.

http://docs.aws.amazon.com//ElasticMapReduce/latest/ManagementGuide/enable-consistent-view.html

위 링크에서 확인해보시면 좋을 듯 합니다.

2016년 5월 24일 화요일 오후 8시 7분 5초 UTC+9, wonhee lee 님의 말: