dpark集群的配置问题？

[jay Young]

请问各位，dpark集群各个主机一般的配置是怎样？有没有最佳实践的推荐？

具体来说，准备把dpark 和 moosefs 放在一个集群里面，那么 

1、dpak（mesos master） 和 moosefs master 一般是放在一个主机？配置推荐是怎样？多大内存，cpu？

2、dpark slave 和 moosefs chunk server 一般的配置是怎样？ 多大内存？

3、一个 moosefs chunk server 可以 配置多大的硬盘 ？

谢谢

[田忠博]

 Hi Jay,

在我看来，似乎在部署时没有什么最佳实践可言，可能你需要考虑自己的实际需求来安排部署计划。

对于mfs的master节点，需要注意的是，如果会存储大量文件的话所需要的内存会很多，我们的经验每GB内存可以保存200万左右文件的索引，这方面也可以参考moosefs-users邮件组的讨论

对于mesos slave来说，由于他是执行计算的节点，一般来说需要不错的CPU和内存，可以参考各个厂商的计算型服务器配置，但由于资源是可以随着机器数目线性增加的，所以单台性能并不是十分重要

由于这样混合的系统，它同时对CPU，内存，存储，网络都有需求，根据自己的业务均衡各个方面的能力很重要，要避免某个方面称为瓶颈

希望这些信息对你有帮助

[Davies Liu]

比如一个集群可能配置如下（Dell R710为主）：

12 CPU(超线程） x 2， 48G 内存，3T x 8 硬盘

mfs master 和 mesos master 有更高可靠性要求，一般单独用一台机器，
上面也可由chunk server，最好不要部署 mesos slave。

其他机器同时部署 chunkserver 和 mesos slave.

在 chunk server 中选择2台作为 master 的备份，master 故障时才切换。

一个 10 台这种配置的集群，就有 240 CPU，480G 内存，和 240T空间
（容纳约 80T数据，默认3拷贝）

如果已经对自己的数据和计算有了解，可以适当地调整配置，调整机器数目。

> --
> You received this message because you are subscribed to the Google Groups
> "DPark Users" group.
> To unsubscribe from this group and stop receiving emails from it, send an
> email to dpark-users...@googlegroups.com.
> For more options, visit https://groups.google.com/d/optout.



--
- Davies

[Davies Liu]

后期追加机器，甚至增加配置不一样的机器也是很容易的，可以灵活调整。

--
- Davies