Agregación de Logs

[Agustin Casiva]

Hola amigos, me encuentro ante la necesidad de agregar logs de varios servers para poder ver todos los logs de manera unificada.

Para ponerlos un poco en contexto, basicamente tengo 7 NGINX con PHP-FPM que actúan de frontend de una aplicación web. Cada nginx general los logs de nginx, los de php-fpm, la salida de error de php y los logs de slow requests. 

Mi necesidad es poder ver todos esos logs desde un solo archivo (uno por cada uno de los tipos de logs) pero que este contenga toda la info de los 7 servers.

Me recomendaron rsyslog,  estoy por ver esa alternativa. Pero me gustaría saber si alguien conoce algo mas para recomendar.

Abrazo y Gracias

--

Casiva  Agustin

Mail/Msn/GTalk/Jabber: casiva...@gmail.com
Skype: casivaagustin
CEL : 054-0362-154270639
Site: http://www.casivaagustin.com.ar

[MARCELO JAVIER MENDOZA]

Hola! En el proyecto donde estoy usamos splunk, pero es pago. Quiza te pueda ayudar los que se le comparan.

Saludos!

Marce.-

2013/10/24 Agustin Casiva <casiva...@gmail.com>

--
You received this message because you are subscribed to the Google Groups "Dev/Ops" group.
To unsubscribe from this group and stop receiving emails from it, send an email to dev_ops+u...@googlegroups.com.
For more options, visit https://groups.google.com/groups/opt_out.

[MatiVillagra]

Buenas Gente.

Como va!

No lo probe aun, pero esto se ve muy copado.

http://logstash.net/

"logstash is a tool for managing events and logs. You can use it to collect logs, parse them, and store them for later use (like, for searching). Speaking of searching, logstash comes with a web interface for searching and drilling into all of your logs."

Saludos! Que anden bien.

[Marcos Ibanez]

En el lado más del FOSS http://graylog2.org/ tiene muy buena pinta.

También salió como herramienta a tener en cuenta en el Technology
Radar de ThoughtWorks (http://www.thoughtworks.com/radar) junto a
logstash, pero esta es FOSS

Saludos.

2013/10/24 MatiVillagra <mativi...@gmail.com>:

--
Marcos Gabriel Ibañez
MSN: mgi...@gmail.com
http://blog.mibanez.com.ar
Twitter: @mgi1982

[Dardo Valdez]

IMHO lo mejor para ver qué tan estable, potente, etc. está un proyecto opensource - entre otro par de cositas - es buscar howtos en la red y ver de qué año-fecha son los primeros que aparecen, y qué tan elaborados/detallados son respecto de los de fechas recientes. Cuanto más elaborados son los - decenas a centenares de - tutoriales, típicamente los sysadmins están manejando mucho mejor / más el software, es más popular, o tiene alguna utilidad muy visible o no que hace que todo el mundo lo instale.

Tip: el soft que publica vía Oreilly o PackPublishing gana puntos extra.

Tip 2: si hay muy pocos tutoriales, con pocos detalles, muy toscos, el proyecto pierde puntos para deployments a producción.

Salvedad al tip2: el proyecto puede ser tremendamente potente, estable y maduro, pero es tan especializado que lo usan unos pocos geeks que se conocen entre todos (http://opentsdb.net/), o si bien está muy maduro compite contra un soft muy popular - Nagios para el ejemplo - sin entregar taaanta más funcionalidad que éste (http://sensuapp.org/)

En base a lo anterior, yo iría por Logstash y su GUI Kibana para una solución a largo plazo (más de 2 años a futuro):

http://www.findbestopensource.com/product/kibana
http://www.jayway.com/2012/07/27/how-to-set-up-semantic-logging-part-one-with-logstash-kibana-elasticsearch-and-puppet/

Aunque primero investigaría a fondo graylog2 y vería si tiene alguna GUI usable o útil:

https://github.com/Graylog2/graylog2-web-interface
http://sphughes.com/2012/01/06/install-graylog2-web-interface/

Comparativas entre greylog2 y logstash (los dos son muy parecidos, al estilo Chef y Puppet),

http://jpmens.net/2012/08/06/my-logstash-and-graylog2-notes/

http://edgeofsanity.net/article/2012/06/17/central-logging-with-open-source-software.html

En tu caso Agustín, Splunk podría llegar a funcionar, ya que la versión free te deja juntar hasta 500 mb diarios de logs

https://www.splunk.com/view/free-vs-enterprise/SP-CAAAE8W

"Your download automatically includes all of the features in our latest release, Splunk Enterprise 6, for 60 days and allows you to index up to 500 megabytes of data per day. After 60 days, or anytime before then, you can convert to a perpetual Free license or purchase an Enterprise license to continue using the expanded functionality designed for multi-user enterprise deployments"

Sldos.

Dardo

Dardo Valdez

[Agustin Casiva]

Bueno medio tarde pero llego.

Al final fui con Rsyslog. El detalle de lo que hice aca 

http://casivaagustin.com.ar/?p=1186

Gracias por los tips a todos.

Abrazo

2013/10/24 Dardo Valdez <yaco...@gmail.com>