Сбор и отображение статистики
420 views
Skip to first unread message
Павел Матолыгин
Aug 12, 2013, 3:02:36 AM8/12/13
to devo...@googlegroups.com
Что-то давно не было новых тем! Всем привет!
Тему агрегации логов уже обсудили. Но, существует еще немаловажный аспект мониторинга производительности продукта - статистика загрузки тех или иных элеметов сайта, запросы в БД и т.д.
Хочу вот поинтересоваться у DevOps сообщества кто какие инструменты использует.
Есть например Pinba от Badoo и т.д.
Я вот как истинный DevOps не могу не попробовать для себя интеграцию logstash с statsd+graphite (чем сейчас и занимаюсь). Данные со страниц можно слать в logstash или в statsd (все по udp), кто как хочет.
Все эти данные кстати можно слать и в zabbix, collectd или еще куда.
Смущает только одно: logstash - jruby + elasticsearch - java + теперь еще statsd - nodejs + graphite - django. Сам проект вообще на Yii. Получается венегрет нехилый уже. =)
PS: Кстати недавно переборол все же страх и поставил logstash-агенты на www/cache-серверы. Пока полет нормальный, но жду непредвиденных осложнений =)
Alex Chistyakov
Aug 12, 2013, 6:03:21 AM8/12/13
to devo...@googlegroups.com
Привет,
Я не очень понял, зачем интегрировать logstash со statsd+graphite.В ближайшее время, кстати, планирую интегрировать logstash с мусорным ведром, потому что писать инфраструктурные агенты на JRuby - это беспредел.
--
Alex
--
Вы получили это сообщение, поскольку подписаны на группу devopsru.
Чтобы отказаться от подписки на эту группу и перестать получать из нее сообщения, отправьте электронное письмо на адрес devopsru+u...@googlegroups.com.
Настройки подписки и доставки писем: https://groups.google.com/groups/opt_out.
Павел Матолыгин
Aug 12, 2013, 6:13:01 AM8/12/13
to devo...@googlegroups.com
Спасибо. посмотрю statsd.rb.
Из логов тоже статистику можно собирать. А так же данные с нод можно слать не на центральный statsd, а на локальные logstash и протаскивать через все те же каналы. Не получится, что одни данные в statsd попадают напрямую, а другие через logstash.
> потому что писать инфраструктурные агенты на JRuby - это беспредел.
Я до этого шипал логи с помощью td-agent (http://fluentd.org/). Очень рекомендую. Тот же logstash + scribe по функциональности, только на ruby. С нагрузкой справлялся спокойно.
Решил отказаться потому что фичи в td-agent и в logstash на 90% дублируют друг друга. Поддерживать оба сервиса не круто, а на центральном сервере приятнее с logstash.
--
Вы получили это сообщение, так как подписаны на группу "devopsru".
Чтобы отказаться от подписки на эту тему, перейдите на страницу https://groups.google.com/d/topic/devopsru/jXpGTqjBVT4/unsubscribe.
Чтобы отказаться от подписки на эту группу и все входящие в нее темы, отправьте электронное письмо на адрес devopsru+u...@googlegroups.com.
Anton Lebedevich
Aug 12, 2013, 6:23:20 AM8/12/13
to devo...@googlegroups.com, Alex Chistyakov
Потеря метрик у оригинального statsd лечится подъемом
net.core.rmem_default, net.core.rmem_max, net.core.netdev_max_backlog,
если это udp receive buffer error.
На каком потоке метрик, кстати, он терял?
Вроде есть сишный клон statsd, но у меня пока JS вариант особо не шалил,
чтобы альтернативы рассматривать.
On 08/12/2013 02:03 PM, Alex Chistyakov wrote:
> Привет,
>
> Я не очень понял, зачем интегрировать logstash со statsd+graphite.
> Я у себя использую отдельно logstash, отдельно - statsd+graphite+GDash.
> Вместо оригинального statsd, который на JS, я использую stasd.rb
> (оригинальный мной был замечен в потере метрик).
> В ближайшее время, кстати, планирую интегрировать logstash с мусорным
> ведром, потому что писать инфраструктурные агенты на JRuby - это беспредел.
>
> --
> SY,
> Alex
>
>
>
> 2013/8/12 Павел Матолыгин <pavel.m...@gmail.com
> <mailto:pavel.m...@gmail.com>>
net.core.rmem_default, net.core.rmem_max, net.core.netdev_max_backlog,
если это udp receive buffer error.
На каком потоке метрик, кстати, он терял?
Вроде есть сишный клон statsd, но у меня пока JS вариант особо не шалил,
чтобы альтернативы рассматривать.
On 08/12/2013 02:03 PM, Alex Chistyakov wrote:
> Привет,
>
> Я не очень понял, зачем интегрировать logstash со statsd+graphite.
> Я у себя использую отдельно logstash, отдельно - statsd+graphite+GDash.
> Вместо оригинального statsd, который на JS, я использую stasd.rb
> (оригинальный мной был замечен в потере метрик).
> В ближайшее время, кстати, планирую интегрировать logstash с мусорным
> ведром, потому что писать инфраструктурные агенты на JRuby - это беспредел.
>
> --
> SY,
> Alex
>
>
>
> 2013/8/12 Павел Матолыгин <pavel.m...@gmail.com
>
> Что-то давно не было новых тем! Всем привет!
>
> Тему агрегации* *логов уже обсудили. Но, существует еще немаловажный
> Что-то давно не было новых тем! Всем привет!
>
> аспект мониторинга производительности продукта - статистика загрузки
> тех или иных элеметов сайта, запросы в БД и т.д.
> Хочу вот поинтересоваться у DevOps сообщества кто какие инструменты
> использует.
> Есть например Pinba от Badoo и т.д.
> Я вот как истинный DevOps не могу не попробовать для себя интеграцию
> logstash с statsd+graphite (чем сейчас и занимаюсь). Данные со
> страниц можно слать в logstash или в statsd (все по udp), кто как хочет.
> Все эти данные кстати можно слать и в zabbix, collectd или еще куда.
>
> Смущает только одно: logstash - jruby + elasticsearch - java +
> теперь еще statsd - nodejs + graphite - django. Сам проект вообще на
> Yii. Получается венегрет нехилый уже. =)
>
> PS: Кстати недавно переборол все же страх и поставил logstash-агенты
> на www/cache-серверы. Пока полет нормальный, но жду непредвиденных
> осложнений =)
>
> --
> Вы получили это сообщение, поскольку подписаны на группу devopsru.
>
> Чтобы отказаться от подписки на эту группу и перестать получать из
> нее сообщения, отправьте электронное письмо на адрес
> devopsru+u...@googlegroups.com
> <mailto:devopsru%2Bunsu...@googlegroups.com>.
> тех или иных элеметов сайта, запросы в БД и т.д.
> Хочу вот поинтересоваться у DevOps сообщества кто какие инструменты
> использует.
> Есть например Pinba от Badoo и т.д.
> Я вот как истинный DevOps не могу не попробовать для себя интеграцию
> logstash с statsd+graphite (чем сейчас и занимаюсь). Данные со
> страниц можно слать в logstash или в statsd (все по udp), кто как хочет.
> Все эти данные кстати можно слать и в zabbix, collectd или еще куда.
>
> Смущает только одно: logstash - jruby + elasticsearch - java +
> теперь еще statsd - nodejs + graphite - django. Сам проект вообще на
> Yii. Получается венегрет нехилый уже. =)
>
> PS: Кстати недавно переборол все же страх и поставил logstash-агенты
> на www/cache-серверы. Пока полет нормальный, но жду непредвиденных
> осложнений =)
>
> --
> Вы получили это сообщение, поскольку подписаны на группу devopsru.
>
> Чтобы отказаться от подписки на эту группу и перестать получать из
> нее сообщения, отправьте электронное письмо на адрес
> devopsru+u...@googlegroups.com
Alex Chistyakov
Aug 12, 2013, 5:59:54 PM8/12/13
to Anton Lebedevich, devo...@googlegroups.com
Я уже не помню точно суть ошибки, но, разве эти настройки не глобальны? Они точно так же должны аффектить любую имплементацию.
Терял при нескольких сотнях метрик в секунду, причем, терял процентов 30-40. Теоретически, я мог бы собрать стенд, да и поглядеть.Клонов демона, кстати, должно быть море - наверняка уже и на Go что-то есть.
--
Alex
Anton Lebedevich
Aug 13, 2013, 4:14:13 AM8/13/13
to Alex Chistyakov, devo...@googlegroups.com
Да, это глобальные настройки. Они не очень влияют на быстрые реализации
при условии что данные поступают равномерно. Но если данные наваливаются
огромной пачкой раз в 5 минут, то буфер может и переполниться.
Как выглядели эти потери данных, как дырки на графиках? Дырки были в
одно время на всех графиках, или раскиданы?
Там просто еще в настройках графита может быть странное (большой
max_updates_per_second, маленький max_cache_size, выключенный
flow_control), от чего он начнет выбрасывать данные, которые не успевает
писать.
On 08/13/2013 01:59 AM, Alex Chistyakov wrote:
> Я уже не помню точно суть ошибки, но, разве эти настройки не глобальны?
> Они точно так же должны аффектить любую имплементацию.
> Терял при нескольких сотнях метрик в секунду, причем, терял процентов
> 30-40. Теоретически, я мог бы собрать стенд, да и поглядеть.
> Клонов демона, кстати, должно быть море - наверняка уже и на Go что-то есть.
>
> --
> SY,
> Alex
>
>
>
> 2013/8/12 Anton Lebedevich <mab...@gmail.com <mailto:mab...@gmail.com>>
> > <mailto:devopsru%2Bunsu...@googlegroups.com
> <mailto:devopsru%252Buns...@googlegroups.com>>.
при условии что данные поступают равномерно. Но если данные наваливаются
огромной пачкой раз в 5 минут, то буфер может и переполниться.
Как выглядели эти потери данных, как дырки на графиках? Дырки были в
одно время на всех графиках, или раскиданы?
Там просто еще в настройках графита может быть странное (большой
max_updates_per_second, маленький max_cache_size, выключенный
flow_control), от чего он начнет выбрасывать данные, которые не успевает
писать.
On 08/13/2013 01:59 AM, Alex Chistyakov wrote:
> Я уже не помню точно суть ошибки, но, разве эти настройки не глобальны?
> Они точно так же должны аффектить любую имплементацию.
> Терял при нескольких сотнях метрик в секунду, причем, терял процентов
> 30-40. Теоретически, я мог бы собрать стенд, да и поглядеть.
> Клонов демона, кстати, должно быть море - наверняка уже и на Go что-то есть.
>
> --
> SY,
> Alex
>
>
>
>
> Потеря метрик у оригинального statsd лечится подъемом
> net.core.rmem_default, net.core.rmem_max, net.core.netdev_max_backlog,
> если это udp receive buffer error.
>
> На каком потоке метрик, кстати, он терял?
>
> Вроде есть сишный клон statsd, но у меня пока JS вариант особо не шалил,
> чтобы альтернативы рассматривать.
>
> On 08/12/2013 02:03 PM, Alex Chistyakov wrote:
> > Привет,
> >
> > Я не очень понял, зачем интегрировать logstash со statsd+graphite.
> > Я у себя использую отдельно logstash, отдельно -
> statsd+graphite+GDash.
> > Вместо оригинального statsd, который на JS, я использую stasd.rb
> > (оригинальный мной был замечен в потере метрик).
> > В ближайшее время, кстати, планирую интегрировать logstash с мусорным
> > ведром, потому что писать инфраструктурные агенты на JRuby - это
> беспредел.
> >
> > --
> > SY,
> > Alex
> >
> >
> >
> > 2013/8/12 Павел Матолыгин <pavel.m...@gmail.com
> <mailto:pavel.m...@gmail.com>
> > <mailto:pavel.m...@gmail.com <mailto:pavel.m...@gmail.com>>>
> Потеря метрик у оригинального statsd лечится подъемом
> net.core.rmem_default, net.core.rmem_max, net.core.netdev_max_backlog,
> если это udp receive buffer error.
>
> На каком потоке метрик, кстати, он терял?
>
> Вроде есть сишный клон statsd, но у меня пока JS вариант особо не шалил,
> чтобы альтернативы рассматривать.
>
> On 08/12/2013 02:03 PM, Alex Chistyakov wrote:
> > Привет,
> >
> > Я не очень понял, зачем интегрировать logstash со statsd+graphite.
> > Я у себя использую отдельно logstash, отдельно -
> statsd+graphite+GDash.
> > Вместо оригинального statsd, который на JS, я использую stasd.rb
> > (оригинальный мной был замечен в потере метрик).
> > В ближайшее время, кстати, планирую интегрировать logstash с мусорным
> > ведром, потому что писать инфраструктурные агенты на JRuby - это
> беспредел.
> >
> > --
> > SY,
> > Alex
> >
> >
> >
> > 2013/8/12 Павел Матолыгин <pavel.m...@gmail.com
> <mailto:pavel.m...@gmail.com>
> <mailto:devopsru%252Buns...@googlegroups.com>>.
Николай Рыжиков
Aug 15, 2013, 1:56:01 AM8/15/13
to devopsru
Мы используем sensu (https://github.com/sensu) - очень просто и расширяемо.
И newrelic (http://newrelic.com/)
Чтобы отказаться от подписки на эту группу и перестать получать из нее сообщения, отправьте электронное письмо на адрес devopsru+u...@googlegroups.com.
Viacheslav Biriukov
Aug 15, 2013, 4:33:16 AM8/15/13
to devo...@googlegroups.com
Привет,
Есть ещё вот такая штука от мозилы: https://blog.mozilla.org/services/2013/07/16/heka-0-3-released/
Написана на го. Сам не пользовался, но выглядит аппетитно.
Александр Галушко
Apr 27, 2016, 7:03:51 AM4/27/16
to devopsru
Есть достойный мануал по этой теме http://itc-life.ru/fluentd-bystryj-poisk-logov-s-elasticsearch-kibana-and-fluentd/
понедельник, 12 августа 2013 г., 12:02:36 UTC+5 пользователь Павел Матолыгин написал:
Reply all
Reply to author
Forward
0 new messages