hadoop 에 json 형식으로 데이터를 저장 하고 있는데요...

[MinGu Ha]

안녕하세요  하둡에 있는 데이터를 타조에서 사용 하고 싶어서 test 하는 중인 사람입니다..

Getting Started를 읽었는데 json 부분을 못찾는건지 (영어가 짧아요 ㅠ)

데이터는 하둡에 /xxxx/yyyy/mm/dd/data.dat 로 5분마다 저장하고 있습니다..

create external table table1 (

      id int,

      name text,

      score float,

      type text)

      using csv with ('csvfile.delimiter'='|') location 'file:/home/x/table1';

위와 같이 json 형식에 hdfs 로 만들고 싶은데.. 어떻게 해야 할지 궁금합니다 ㅎㅎ

LOCATION 'hdfs://localhost:9010/tajo/warehouse/lineitem_100_snappy'; 이런식으로 하면 될거 같은데 cvs부분을 어떻게 처리 해야 할까요???

[MinGu Ha]

https://issues.apache.org/jira/browse/TAJO-1095 여기 보니 아직 지원이 안되는군요...

0.9.1 릴리즈 할때 된다고 하던데 0.9.1은 언제쯤 나올까요? 

[Hyunsik Choi]

안녕하세요?

현재 지원되지는 않습니다. 0.9.1에 릴리즈 될 계획입니다. 릴리즈 일정은 12월 초 정도 되지 않을까 생각합니다.

0.9.1에 들어가는 Json 지원은 flat 한 Json에 대해서만 입니다. 혹시 사용하시려는 json이 nested
model 에 기반한 스키마 구조인지요? nested 지원은 현재 진행중입니다.

최현식 드림

[MinGu Ha]

답변 감사합니다.

저희도 아직까지는 flot한 구조로만 사용할 생각이고 nested 은 추후에 진행 할려고 했습니다 ㅎㅎ

12월 초에 나오면 바로 테스트 해봐야 겠습니다..

그럼 수고하세요

2014년 11월 27일 목요일 오후 4시 39분 9초 UTC+9, Hyunsik Choi 님의 말:

[Hyunsik Choi]

이미 초기 패치는 올라간지 꽤 되었구요. 곧 완성도 높은 패치가 올라갈 예정이라 그 패치가 올라가고 나면 master 브렌치로
테스트해보셔도 좋을 것 같습니다. 커밋되고 나면 말씀드려보겠습니다 ㅎㅎ

최현식 드림

[Hyunsik Choi]

현재 master branch 에 json scanner 패치가 커밋되었습니다.

https://issues.apache.org/jira/browse/TAJO-1095
https://github.com/apache/tajo/commit/cd38dffb908a3959472f5ddb705db71d0e48ad89

테이블 생성은 아래와 같이 하시면 되구요.

CREATE TABLE XXX (col1 TEXT, ....) USING JSON;

이미 있는 json 파일을 읽는 것은 아래와 같이 하시면 됩니다.

CREATE EXTERNAL TABLE XXX (col1 TEXT, ....) USING JSON LOCATION
'/data/table-path/';

더 자세한 내용은 아래에서 참고하시면 됩니다.
http://tajo.apache.org/docs/current/sql_language/ddl.html

nested model 은 추후 지원될 예정입니다. 0.9.2 정도에는 nested record 와 array 가 지원될 것 같네요.

최현식 드림