请教一各hive 和hadoop部署的问题

[Richard Chen]

赵伟大师，再请教一个问题：

假设我有50台机器，一个master ，49个slave节点。

那么

(1)这50台机器都要安装hive QE 和hadoop 么？

(2)还是把50个节点安装hadoop，只要其中一各节点安装hive QE就行了?

(3) 把50台机器分2半，25台安装hadoop，25台安装hive QE， hive QE和hadoop是分开运行的？

因为我看到这句话不是很理解：分布式环境与单机环境的最大区别是Hadoop使用local模式，还是分布式模式。在Hadoop生产环境中，TDW QE作为Hadoop的客户端，提交MR任务。因此，需要在TDW QE的机器上部署Hadoop客户端。

[zhao...@gmail.com]

原则上只要一台部署QE，这台机器上要有hadoop的客户端，export HADOOP_HOME指向hadoop客户端安装包。

如果QE要负载均衡，可以部署多个QE，修改元数据配置的ip和port，指向同一个元数据DB即可。

QE只负责将SQL翻译为MR，然后提交给hadoop，它自己很少做数据计算，所以只要很少节点。

在 2014年12月9日星期二UTC+8下午6时47分01秒，Richard Chen写道：