Оптимизация под большой поток документов на индексацию

[Max Just]

Добрый день, в ходе разработки уперлись в скорость индексации документов в эластике, на данный момент добились производительности в 20К док/сек. Документы небольшие, это просто список ссылок. и еще пара полей дата и т.п. Под эластик отдали 16 ядер, на машине 18Гб памяти. Индекс разбили на 20 шардов и увеличили refresh до 30 секунд. Вопрос следующий, можно ли еще увеличить скорость или 20К/сек для такой конфигурации технологический предел и не стоит даже пытаться. Если теоретическая возможность есть подскажите, пожалуйста, куда еще можно посмотреть. 

[Igor Motov]

Посмотреть еще можно сюда - http://www.elasticsearch.org/blog/performance-considerations-elasticsearch-indexing/

[Max Just]

Я вот думаю может есть еще какой-нибудь топологический ход, например если поднять 3 реплики, а при индексации чередовать ноды, это теоретически должно дать прирост, или документ все-равно будет индексироваться на каждой ноде, вне зависимости куда он пишется и получиться что мы его индексируем 3 раза на разных нодах, когда эластик между собой будет перекидывать эти данные?. 

PS: Спасибо за наводку на статью.

28 января 2015 г., 0:04 пользователь Igor Motov <imo...@gmail.com> написал:

Посмотреть еще можно сюда - http://www.elasticsearch.org/blog/performance-considerations-elasticsearch-indexing/

On Tuesday, January 27, 2015 at 2:45:25 PM UTC-5, Max Just wrote:

Добрый день, в ходе разработки уперлись в скорость индексации документов в эластике, на данный момент добились производительности в 20К док/сек. Документы небольшие, это просто список ссылок. и еще пара полей дата и т.п. Под эластик отдали 16 ядер, на машине 18Гб памяти. Индекс разбили на 20 шардов и увеличили refresh до 30 секунд. Вопрос следующий, можно ли еще увеличить скорость или 20К/сек для такой конфигурации технологический предел и не стоит даже пытаться. Если теоретическая возможность есть подскажите, пожалуйста, куда еще можно посмотреть. 

--
Вы получили это сообщение, поскольку подписаны на одну из тем в группе "elasticsearch-ru".
Чтобы отменить подписку на эту тему, перейдите по ссылке https://groups.google.com/d/topic/elasticsearch-ru/kpwqj0DmDk8/unsubscribe.
Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо на электронный адрес elasticsearch-...@googlegroups.com.
Чтобы отправлять сообщения в эту группу, отправьте письмо на электронный адрес elastics...@googlegroups.com.
Чтобы зайти в группу, перейдите по ссылке http://groups.google.com/group/elasticsearch-ru.
Чтобы настроить другие параметры, перейдите по ссылке https://groups.google.com/d/optout.

[Igor Motov]

Да, в этом случае вы будуте все индексировать 3 раза.

On Wednesday, January 28, 2015 at 1:40:17 AM UTC-5, Max Just wrote:

Я вот думаю может есть еще какой-нибудь топологический ход, например если поднять 3 реплики, а при индексации чередовать ноды, это теоретически должно дать прирост, или документ все-равно будет индексироваться на каждой ноде, вне зависимости куда он пишется и получиться что мы его индексируем 3 раза на разных нодах, когда эластик между собой будет перекидывать эти данные?. 

PS: Спасибо за наводку на статью.

28 января 2015 г., 0:04 пользователь Igor Motov <imo...@gmail.com> написал:

Посмотреть еще можно сюда - http://www.elasticsearch.org/blog/performance-considerations-elasticsearch-indexing/

On Tuesday, January 27, 2015 at 2:45:25 PM UTC-5, Max Just wrote:

Добрый день, в ходе разработки уперлись в скорость индексации документов в эластике, на данный момент добились производительности в 20К док/сек. Документы небольшие, это просто список ссылок. и еще пара полей дата и т.п. Под эластик отдали 16 ядер, на машине 18Гб памяти. Индекс разбили на 20 шардов и увеличили refresh до 30 секунд. Вопрос следующий, можно ли еще увеличить скорость или 20К/сек для такой конфигурации технологический предел и не стоит даже пытаться. Если теоретическая возможность есть подскажите, пожалуйста, куда еще можно посмотреть. 

--
Вы получили это сообщение, поскольку подписаны на одну из тем в группе "elasticsearch-ru".
Чтобы отменить подписку на эту тему, перейдите по ссылке https://groups.google.com/d/topic/elasticsearch-ru/kpwqj0DmDk8/unsubscribe.

Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо на электронный адрес elasticsearch-ru+unsubscribe@googlegroups.com.
Чтобы отправлять сообщения в эту группу, отправьте письмо на электронный адрес elasticsearch-ru@googlegroups.com.