원격 서버에서 타조 접근 방법

[Anthony Lee]

안녕하세요.

현재 저희는 매일 새벽에 AWS EMR에 Step으로 ETL job들을 수행하고 EMR을 종료하는 식으로 작업을 수행하고 있습니다.

이번에 ETL 중간 스텝으로 다른서버에 있는 타조에 쿼리를 요청하는 작업을 수행하고 싶은데

자료를 찾다보니 tsql에서 hostname과 포트를 입력하여 특정 서버의 타조에 접근하여 쿼리를 수행할 수 있을 거라 생각했습니다.

(https://tajo.apache.org/docs/current/tsql/intro.html)

먼저 제가 제대로 이해한게 맞는지 궁금합니다.

만약 가능하다면 EMR을 띄울때 tsql을 서버에 설치해야 할것 같은데,

tsql만 설치가 가능한지요? 아니면 다른 방법으로 더 쉽게 타조에 쿼리를 수행할 수 있는 방법이 있을까요?

[Jinho Kim]

안녕하세요.

생각하신대로 tsql 로 hostname 과 port 를 주면 다른 tajo cluster 로 접속하여 사용하실수 있습니다.

tsql 을 따로 패키지로 만들지는 않아서 편한 방법은 tajo tar 를 사용하시는 서버에 풀어주시고 접속하시면됩니다.

더 편한방법은 JDBC 를 이용하여 쿼리를 실행하는 방법도 있고, TajoClient 로 직접 하시는 방법이 있습니다.

JDBC 나 TajoClient 는 hadoop dependency 를 갖지 않기 때문에 maven project 를 쉽게 만드실수 있습니다.

그리고 EMR 이면 다른 클러스터로 접속할 수 있는 방법은 아마존 문서를 참고하시면 될듯 합니다.

외부 접속용 설정은 아래 설정을 참고하세요.

<property>
 <name>tajo.master.client-rpc.address</name>
 <value>hostname:26002</value>
 <description>TajoMaster binding address between master and remote clients.</description>
</property> 

김진호 드림

2016년 6월 21일 화요일 오전 11시 38분 59초 UTC+9, Anthony Lee 님의 말:

[Anthony Lee]

답변 감사합니다. 잘해결하였습니다.

다른 분들에게 도움이 될까 싶어 적어 봅니다.

tajo tar와 hadoop tar가 필요했습니다.

각각을 적당한 곳에 압축을 풀고 tajo/conf의 tajo-site.xml과 tajo-env.sh 수정이 필요합니다.

tajo-site.xml에는 아래 답변 주신대로 접속하려는 곳의 주소를 적었습니다.

예)

<property>
 <name>tajo.master.client-rpc.address</name>
 <value>hostname:26002</value>
 <description>TajoMaster binding address between master and remote clients.</description>
</property> 

tajo-env.sh에는 HADOOP_HOME과 JAVA_HOME에 대한 위치만 지정하였더니 정상적으로 잘 동작하였습니다.

감사합니다.

[Jihoon Son]

공유해주셔서 감사합니다.
잘 해결되셨다니 다행이네요!

손지훈 드림

[Jinho Kim]

감사합니다. 다른분들에게 많은 도움 될듯 합니다. ^^

2016년 6월 29일 수요일 오후 11시 41분 26초 UTC+9, Anthony Lee 님의 말: