集群扩容的问题

35 views
Skip to first unread message

Xiang Chen

unread,
Jan 20, 2014, 11:15:47 PM1/20/14
to me...@googlegroups.com
如果在现有的机器上 磁盘已经写满了
我扩容几台机器,那我要如何处理 才能将指定的topic的分区 扩展到新扩容的机器上。

dennis zhuang

unread,
Jan 20, 2014, 11:17:52 PM1/20/14
to me...@googlegroups.com
你是要指定某个topic下的某个分区吗?


在 2014年1月21日 下午12:15,Xiang Chen <chen....@gmail.com>写道:
如果在现有的机器上 磁盘已经写满了
我扩容几台机器,那我要如何处理 才能将指定的topic的分区 扩展到新扩容的机器上。

--
您收到此邮件是因为您订阅了 Google 网上论坛的“metaq”论坛。
要退订此论坛并停止接收此论坛的电子邮件,请发送电子邮件到 metaq+un...@googlegroups.com
要查看更多选项,请访问 https://groups.google.com/groups/opt_out。



--
庄晓丹
Email:        killm...@gmail.com xzh...@avos.com
Site:           http://fnil.net
Twitter:      @killme2008


Xiang Chen

unread,
Jan 20, 2014, 11:56:25 PM1/20/14
to me...@googlegroups.com

不需要,需要保证在新的信息入到topic时,往扩容的分区写
在 2014年1月21日星期二UTC+8下午12时17分52秒,dennis写道:

Xiang Chen

unread,
Jan 21, 2014, 12:01:57 AM1/21/14
to me...@googlegroups.com
现在遇到的现象是这样的,起初使用了4台做集群,为一个topic建了8个分区,随着服务运行,发现磁盘过50%;所以就像扩容broker,而topic的分区需要扩展到新扩容的机器上

在 2014年1月21日星期二UTC+8下午12时56分25秒,Xiang Chen写道:

dennis zhuang

unread,
Jan 21, 2014, 12:38:54 AM1/21/14
to me...@googlegroups.com
很简单,增大numPartition就可以了,生产者会自动感知到。如果没有,可以重启下客户端。

Xiang Chen

unread,
Jan 21, 2014, 1:05:54 AM1/21/14
to me...@googlegroups.com
既是新增broker,其配置对应topic的信息,对吧。在此有个疑问,这些扩容就需要知道哪些topic需要新增分区,这样会增加了后续维护的难度(如果topic很多很多),这是否有比较方便的处理方式呢?

在 2014年1月21日星期二UTC+8下午1时38分54秒,dennis写道:

dennis zhuang

unread,
Jan 21, 2014, 1:08:13 AM1/21/14
to me...@googlegroups.com
如果每个topic分区一样,只要设置[system]的numPartitions就可以了.

Xiang Chen

unread,
Jan 21, 2014, 1:53:20 AM1/21/14
to me...@googlegroups.com
thx denis的解答。

在 2014年1月21日星期二UTC+8下午2时08分13秒,dennis写道:

Zhen Zhang

unread,
May 7, 2014, 9:48:38 PM5/7/14
to me...@googlegroups.com
直接增加broker即可,生产者和消费者可以自动感知到broker的变化,不需要重启任何服务,是这个意思吗?

在 2014年1月21日星期二UTC+8下午12时15分47秒,Xiang Chen写道:
Reply all
Reply to author
Forward
0 new messages