Re-Ingestar tráfico con Logstash/Filebeat

[Cristian Andrés Pazmiño]

Buenas tardes, tengo una consulta. Quiero saber si puedo re-ingestar logs de días pasados, he creado mis propios campos de parsing, pero quiero reindexar mis logs anteriores con mis nuevos campos.

Es posible hacer esto?

De ante mano gracias, y saludos

[Hec Kahn]

Hola Cristian,

Tengo entendido que no es posible reindexar los campos que ya han sido filtrados por logstash y almacenados en tu base de datos o en elasticsearch. Lo que puedes hacer, es crear un nuevo index para el nuevo parseo y reingresar los logs anteriores, solo que tienes que tomar en cuenta que el campo @timestamp (generado por defecto) será la fecha de cuando reingreses los logs con tu nuevo parseo y nuevo index.

Saludos!

[Jimmy Rivas]

Hola!

   lo que yo he echo es hacer un dump de los indices usando elastic dump https://github.com/taskrabbit/elasticsearch-dump esto crea un archivo JSON que he modificado usando Perl o Python, también para modificar los templates  (por ejemplo definir algunos datos como enteros o flotantes) y luego vuelvo a meterlos a Elasticsearch  con la misma herramienta.

Espero te sirva

  

Saludos

  Jimmy

--
Has recibido este mensaje porque estás suscrito al grupo "Elasticsearch ES" de Grupos de Google.
Para cancelar la suscripción a este grupo y dejar de recibir sus mensajes, envía un correo electrónico a elasticsearch-es+unsubscribe@googlegroups.com.
Para acceder a más opciones, visita https://groups.google.com/d/optout.

--