Рекомендации по объему и кол-ву шардов

[Ivan Usachev]

Приветствую!

Прошу знающих дать рекомендации по оптимизации хранения шардов, если это правильно звучит.

Ситуация следующая.

Есть кластер из:

Client Node (Graylog2) - 8 Core , 8Gb RAM

2 Master-node - 4 Core , 4 Gb RAM

2 data-node - 16 Core, 16Gb RAM , 2TB HDD (SATA 7200)

Данных льется примерно 500-1000 message в минуту.
Сейчас настроено так, 20 Indices ,max Documents 20,000000, 4 Shard + 1 реплика.

В итоге 1 Indices весит вместе с репликой  17.7GB.

начинают тормозить дата ноды, в плоть до того что вываливаются шарды из кластера и становятся не назначенными.
Собственно вопрос, как лучше сделать оптимизировать хранение? сделать больше шардов?  или ограничить меньше документов в Indices.

Есть какие то практики или рекомендации?  

[Igor Motov]

А вы смотрели, что на этих нодах происходит перед тем, как они вываливаются? У них памяти не хватает или CPU перегружено? Если у Вас графики есть, которые показывают что с памятью, CPU load и load average происходило перед тем, как нода вывалилась, то хорошо бы было на них посмотреть.