Apache y sus logs

[Vicente Ruiz]

¡Hola! Estoy administrando un servidor que utilizo para desarrollar
páginas web y estoy liado con la administración. Os escribo para
conocer vuestras opiniones y recomendaciones. Para la gestión de los
logs y las estadísticas es un poco engorroso trabajar con los ficheros
y me estoy planteando añadir los logs automáticamente a Postgres. He
visto que hay algún módulo para Apache que permite esto, o en su
defecto, prepararía yo uno. Pero antes de nada quería consultarlo con
vosotros :)

Un saludo,
Vicente Ruiz

[Gerardo Puerta]

¡Hola Vicente!
Si te refieres a la explotación de datos de acceso desde los logs de apache hay un proyecto muy interesante que intenta parecerse a google analytics llamado piwik:
http://piwik.org/
... aunque quizás lo más extendido sea awstats:
http://awstats.sourceforge.net/

No se si iban por aquí tus preguntas.

Un saludo.

2010/3/18 Vicente Ruiz <vrui...@gmail.com>

--
Has recibido este mensaje porque estás suscrito al grupo "Software libre - Universidad de Granada" de Grupos de Google.
Para publicar una entrada en este grupo, envía un correo electrónico a sl-...@googlegroups.com.
Para anular tu suscripción a este grupo, envía un correo electrónico a sl-ugr+un...@googlegroups.com
Para tener acceso a más opciones, visita el grupo en http://groups.google.com/group/sl-ugr?hl=es.

[Javier Sánchez Monedero]

Antes de ponerte a desarrollar nada, echa un vistazo a herramientas como
estas:
http://awstats.sourceforge.net/
http://www.mrunix.net/webalizer/

Hace tiempo usé la segunda, pero todo esto depende del problema. Si
quieres monitorización también puedes usar el plugin de nagios para
monitorizar servicios HTTP.

saludos

[Vicente Ruiz]

Creo que no me he expresado con suficiente claridad :) La idea que persigo es un tratamiento más personalizado acerca de los datos y unas estadísticas más particulares y personalizables. Ahora mismo estoy desarrollando sobre Django y mi idea es desarrollar un módulo para el tratamiento de esta información. Ahora aquí es donde me ha surgido el problema, ¿mantengo los logs en ficheros o directamente los almaceno en Postgres? ¿Se cargará demasiado Postgres? ¿Es preferible tener que parsear el fichero cada vez que se generen las estadísticas?

piwik lo estuve mirando y la verdad es que es muy atractivo. Uno de los problemas es que la integración de PHP y Django no la veo muy limpia, aunque tampoco sería muy grave. El principal problema es que solo soporta MySQL y estoy utilizando Postgres. Además de que no tienen pensado soportar más SGBD porque dicen que así es más sencillo de desarrollar/mantener.

webalizer no lo conocía, la verdad, pero ahora le echaré un ojo a ver que posibilidades ofrece.

awstats no tiene soporte para ningún SGBD (que yo sepa), lo cual no me permite tratar la información de forma personalizada, aunque acabo de ver que está desarrollado con Perl y tiene un sistema de módulos, tal vez sea una opción interesante.

¡Gracias por las respuestas!
Un saludo,
Vicente Ruiz

[Javier Sánchez Monedero]

Tal vez puedas usar este módulo, está en Ubuntu:
http://www.outoforder.cc/projects/apache/mod_log_sql/

Respecto al rendimiento, supongo que si vas a tener tanto como para
tener problemas, será porque te pagan para que pongas un servidor mejor,
con un par de discos y de núcleos para dedicar uno a la base de datos ;)

salud

[JJ Merelo]

En principio, en una base de datos tendría que ir más rápido que en un
fichero plano, pero dependerá de la cantidad de accesos que hagas
luego sobre la base de datos. Además, si usas la misma Bd para los
logs y para las peticiones, puede que sobrecargues mucho el sistema,
ten en cuenta que cada página puede generar 10 o 12 peticiones a la BD
de registro.
También puedes usar una opción "offline", procesar los logs cuando se
hayan generado ya y meterlos en la BD. Serán muchas más peticiones,
pero puedes hacerlas en un momento de poca carga.

Taluego!
--
JJ

[Vicente Ruiz]

Al final estoy implementando mi propio parser en Python :) Lo que es el parser lo tengo prácticamente listo, aunque hacen falta algunos retoques más y pulir unos detalles. Estoy pensando en darle un nuevo enfoque y potenciar mucho las consultas, de forma que puedan ser pesonalizables. De todas formas, cuando lo tenga un poquito más pensado y algo de código estable os lo iré comentando.

¡Muchas gracias por las ideas! xD
Un saludo,
Vicente Ruiz

[Vicente Ruiz]

Una cosilla más, ¿alguien conoce alguna libería Python para generar charts? Alguna que otra vez he utilizado los bindings que ofrece GNUPlot para Python...pero no sé si habrá alguna alternativa mejor. Estoy abierto a sugerencias :)

Un saludo,
Vicente Ruiz.

[Juan Martín]

Echa un vistazo a pycha en:
http://bitbucket.org/lgs/pycha/wiki/Home

El 22 de mar de 2010, 6:44 p.m., "Vicente Ruiz" <vrui...@gmail.com> escribió:

Una cosilla más, ¿alguien conoce alguna libería Python para generar charts? Alguna que otra vez he utilizado los bindings que ofrece GNUPlot para Python...pero no sé si habrá alguna alternativa mejor. Estoy abierto a sugerencias :)

Un saludo,
Vicente Ruiz.

El 22 de marzo de 2010 13:15, Vicente Ruiz <vrui...@gmail.com> escribió:

> > Al final estoy implementando mi propio parser en Python :) Lo que es el parser lo tengo práctic...

-- Has recibido este mensaje porque estás suscrito al grupo "Software libre - Universidad de Grana...

[Manuel (DraXus)]

Échale un ojo también a http://pygooglechart.slowchop.com/

2010/3/22 Juan Martín <nau...@gmail.com>

Has recibido este mensaje porque estás suscrito al grupo "Software libre - Universidad de Granada" de Grupos de Google.
Para publicar una entrada en este grupo, envía un correo electrónico a sl-...@googlegroups.com.
Para anular tu suscripción a este grupo, envía un correo electrónico a sl-ugr+un...@googlegroups.com
Para tener acceso a más opciones, visita el grupo en http://groups.google.com/group/sl-ugr?hl=es.

--
WebSite: http://draxus.org

Por favor, si desea mandarme cualquier documento, utilice formatos estándar (ODF, PDF, HTML...). Gracias.

Please, if you wish to send me some documents, use standard formats (ODF, PDF, HTML...). Thanks.

[Vicente Ruiz]

pygooglechar lo estuve considerando, pero no me termina de gustar porque dependes del servicio. Nadie garantiza que un día se decida cerrar el servicio, que cambien el API sin previo aviso o simplemente que el servidor esté caído.

pycha tiene buena pinta. A ver si saco un rato y lo trabajo un poco (pero el tema tiempo está difícil).

Muchas gracias a todos :)

Un saludo,
Vicente Ruiz