AWS 마켓플레이스에서 Gruter Enterprise Tajo 사용시 문의

[wonhee lee]

안녕하세요.~

AWS 마켓플레이스에서 Gruter Enterprise Tajo 사용해서 인스턴스 구성중인데요.

가이드 보고 워커 노드 추가하려고 합니다.

아래 명령으로 추가하라고 되어있는데

aws ec2 run-instances --image-id AMI_ID \ 

 --block-device-mappings \ 

'[{"DeviceName": "/dev/sdb","VirtualName":"ephemeral0"},\ 

{"DeviceName": "/dev/sdc","VirtualName":"ephemeral1"}]' \ 

 --security-groups SECURITY_GROUP_NAME \ 

 --iam-instance-profile Name=PROFILE_NAME \ 

 --count 3 \ 

 --key-name KEY_PAIR_NAME \ 

 --instance-type c3.2xlarge \ 

 --user-data '-b TAJO_BUCKET -m MASTER_PRIVATE_IP' 

이 명령에서 

 --iam-instance-profile Name=PROFILE_NAME \ 

인스턴스 프로필을 어디서 확인하는건지 잘 모르겠네요.

도움부탁드려요~

감사합니다.

[ykko]

안녕하세요

Gruter Enterprise Tajo 를 사용하기 위한 1회성 선행 작업으로

IAM Role 생성과 Security Group 생성이 있습니다.

G.E.T User Guide 문서

(https://s3.amazonaws.com/gruter-enterprise-tajo/GruterEnterpriseTajoUserGuide.pdf)

5페이지 Create IAM Role for Tajo 섹션에 자세한 설명이 있으니 참조하세요. (아래 빨간색 부분)

고영경 드림.

---

3. Create IAM Role for Tajo

Create a role for Tajo and add a policy into it in order to grant EC2 control and S3 access to Tajo. Then create an instance-profile and add the role above. Note that the quoted JSON string in --assume-role-policy-document and --policy-document should be in a single line.

aws iam create-role --role-name ROLE_NAME \        --assume-role-policy-document \ '{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Principal":{"Service":"ec2.amazonaws.com"},"Action":"sts:AssumeRole"}]}' aws iam put-role-policy --role-name ROLE_NAME \        --policy-name Tajo-Permissions \        --policy-document \ '{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Action":"s3:*","Resource":"*"},{"Action":"ec2:*","Effect":"Allow","Resource":"*"}]}' aws iam create-instance-profile --instance-profile-name PROFILE_NAME aws iam add-role-to-instance-profile --instance-profile-name PROFILE_NAME --role-name ROLE_NAME

2016. 5. 11. 오전 11:50에 wonhee lee 이(가) 쓴 글:

[Han Younsu]

iam-instance-profile은 다음과 같은 명령으로 생성 및 확인하실 수 있습니다.

1. iam-instance-profile 생성전에 먼저 role을 생성해야합니다.

aws iam create-role --role-name ROLE_NAME \
        --assume-role-policy-document \

'{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Principal":{"Service":"ec2.amazonaws.com"},"Action":"sts:AssumeRole"}]}'

2. 생성한 role에 role-policy를 추가합니다.

aws iam put-role-policy --role-name ROLE_NAME \
        --policy-name Tajo-Permissions \
        --policy-document \

'{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Action":"s3:*","Resource":"*"},{"Action":"ec2:*","Effect":"Allow","Resource":"*"}]}'

3. 이제 iam-instance-profile를 생성합니다.

aws iam create-instance-profile --instance-profile-name PROFILE_NAME

4. 생성한 iam-instance-profile에 1,2에서 생성한 role을 추가시킵니다.

aws iam add-role-to-instance-profile --instance-profile-name PROFILE_NAME --role-name ROLE_NAME

* 1,2,3,4를 모두 성공하셨다면, 문의주신 "--iam-instance-profile Name=PROFILE_NAME"에는 3번에서 생성하신 PROFILE_NAME를 적어주시면 됩니다.

* 생성한 iam-instance-profile 확인 방법

aws iam list-instance-profiles

2016년 5월 11일 수요일 오전 11시 50분 39초 UTC+9, wonhee lee 님의 말:

[wonhee lee]

안녕하세요. 답변 감사드립니다.

주신 설명과  See product video  참고해서 생성잘 되었습니다.

그런데 동영상에스 인스턴스 태그에 

마스터 노드와 워커 노드를 구분할수 있게 태그 생성이 되는 것 처럼 보이는데

제가 생성할때는 태그 생성은 되지 않는 것 같네요.

확인 부탁드립니다.

감사합니다.

[Han Younsu]

동영상은 편집상 인스턴스 런치 후 바로 태그가 보였는데, 실제 구동시 인스턴스 런치 후 약 3~5분 후(부팅및 설정 실행에 따른 소요) 태그가 생성됩니다.

따라서 생성하신 후 3~5분 정도 후에 확인해 보시기 바랍니다. 그리고 AWS web UI에서 태크는 오토리로드가 안돼니 페이지 리플레시를 해야합니다. 

만약 5분이 지나도 태그가 생성이안돼시면, EC2 web UI에서 해당 인스턴스를 선택후 하단의 Description의 IAM role를 클릭해 들어가셔서 Show Policy로 ec2권한이 있는지 확인 부탁드립니다.

2016년 5월 11일 수요일 오후 7시 12분 35초 UTC+9, wonhee lee 님의 말:

[wonhee lee]

안녕하세요. 

흠.. 시험삼아 2개 인스턴스로 생성을 해 봤는데.

태그 생성도 안되고, 각각 인스턴에 마스터 노드랑 워커 노드가 떠있네요.

시큐러티 권한과 IAM role 권한을 가이드대로 넣었는데..

어느 부분에 문제가 있을까요??

role에 아래 권한 두개 넣었고.

AmazonEC2FullAccess,  AmazonS3FullAccess

security group에 

22, 80, 26002, 26080 anywhere로 오픈하고.

1-65535 생성한 시큐러티 그룹에 오픈했습니다.

확인 부탁드릴게요.

감사합니다.

[ykko]

안녕하세요.

클러스터 모드가 아니라 stand-alone 두 개가 실행되었다면

S3 BUCKET 을 지정하지 않은 것 아닌지 확인해 보세요.

User Guide 문서의 아래 빨간색 부분입니다.  

1. 5)  Step 3. Configure Instance Details:

   1. a)  Number of Instances: Enter the total number of instances. For example, set it

      "4" if you want to create Tajo cluster with 1 master and 3 workers.

      NOTE: If "1", Tajo master and worker will be installed on a single instance, but only Tajo master will be started by default. You can start Tajo worker process manually by:

      ex) sudo -u tajo tajo-daemon.sh start worker

   2. b)  IAM role: Choose the role which you created before.

   3. c)  Advanced Details: Set the following configurations in the textarea.

      ex) -b my-tajo-bucket -d 'tajo tajopw 123.45.67.8:3306'

      • ●  -b S3_BUCKET: REQUIRED. Your S3 bucket to be used for Tajo root directory. If it is omitted, individual stand-alone Tajo instances will be created instead of Tajo cluster, which you may not intend.

2016. 5. 12. 오후 4:35에 wonhee lee 이(가) 쓴 글:

[wonhee lee]

안녕하세요.

말씀주신데로 S3 버킷에 접근하는데 문제가 좀 있었네요. ^^;

private subnet에 생성해서, nat 서버 통해서 S3 접근하도록 되어있는데.

그 부분 설정을 안해줘서 문제가 되고 있었습니다.

답변 감사합니다.

[wonhee lee]

안녕하세요.

tsql에서 쿼리 질의시 아래처럼 에러가 발생하는데요.

2016-05-19 12:55:17,919 INFO org.apache.tajo.master.scheduler.SimpleScheduler: Running Queries: 0

2016-05-19 12:55:17,920 INFO org.apache.tajo.master.QueryInProgress: Try to connect to QueryMaster:ip-10-0-54-129:28093

2016-05-19 12:55:17,920 WARN org.apache.tajo.rpc.NettyClientBase: Exception [org.apache.tajo.ipc.QueryMasterProtocol(ip-10-0-54-129:28093)]: UnresolvedAddressException:

Try to reconnect : ip-10-0-54-129:28093

2016-05-19 12:55:18,920 WARN org.apache.tajo.rpc.NettyClientBase: Exception [org.apache.tajo.ipc.QueryMasterProtocol(ip-10-0-54-129:28093)]: UnresolvedAddressException:

Try to reconnect : ip-10-0-54-129:28093

2016-05-19 12:55:19,920 ERROR org.apache.tajo.rpc.NettyClientBase: Max retry count has been exceeded. attempts=3 caused by: java.nio.channels.UnresolvedAddressException

에러 내용으로 봐선 쿼리 마스터 노드에 28093 포트로 접속이 안되서 그런것 처럼 보이긴 하는데

혹시 다른 이유가 있을 수 있을까요??

시큐리티 그룹에서 포트는 다 열어놨는데 왜 저런 에러가 떨어지는 지 잘 못찾겠네요.ㅠㅠ

[Yongjun Park]

안녕하세요~

DNS로 Hostname이 활성화되어 있지 않아서 오류가 발생하는 것으로 보이네요.

VPC설정에서 DNS Hostnames과 DNS Resolution 옵션이 "Yes"로 되어있는지 확인해보세요.

Gruter Enterprise Tajo 제품지원은 https://groups.google.com/forum/#!forum/get-open-forum 에서 하고 있으니 해당 포럼으로 문의하시는게 좋을것 같습니다 :)

2016년 5월 19일 목요일 오후 9시 57분 27초 UTC+9, wonhee lee 님의 말:

[wonhee lee]

안녕하세요. 

말씀주신 곳에 질문을 올렸는데, 확인해 주실수 있으신가요?

 https://groups.google.com/forum/#!forum/get-open-forum