logstash out of memory

50 views
Skip to first unread message

Jorge Herrera

unread,
Dec 30, 2014, 2:54:42 PM12/30/14
to elastics...@googlegroups.com
Hola, no se si aca puedo hacer consultas sobre logstash. Estoy teniendo problemas de fuga de memoria en logstash al usar logstash-forwarder. Mi setup es el siguiente

multiples logstash-forwarder -> logstash -> elasticsearch

mi logstash dura alrededor de 15 minutos antes de darme un error por memoria

Error: Your application used more memory than the safety cap of 500M.
Specify -J-Xmx####m to increase it (#### = cap size in MB).
Specify -w for full OutOfMemoryError stack trace

estoy usando logstash 1.4.2

Saludos y gracias!
--
Jorge Herrera P
Senior Web Developer
Cuponatic LATAM SA

Juan Berner

unread,
Dec 30, 2014, 3:19:26 PM12/30/14
to Jorge Herrera, elastics...@googlegroups.com
Jorge, nos podes pasar un link a la configuración de logstash en pastebin (sacale información de ips, etc)?

Gracias!

Atentamente

 

Juan Berner |Seguridad Informática Argentina

  

Arias 3751, Piso 7 (C1430CRG) Ciudad de Buenos Aires

Teléfono  (+5411) 4640-8000 int. 8844    


--
Has recibido este mensaje porque estás suscrito al grupo "Elasticsearch ES" de Grupos de Google.
Para anular la suscripción a este grupo y dejar de recibir sus mensajes, envía un correo electrónico a elasticsearch-...@googlegroups.com.
Para acceder a más opciones, visita https://groups.google.com/d/optout.

Jorge Herrera

unread,
Dec 30, 2014, 3:23:18 PM12/30/14
to Juan Berner, elastics...@googlegroups.com

Juan Berner

unread,
Dec 30, 2014, 3:27:22 PM12/30/14
to Jorge Herrera, elastics...@googlegroups.com
Jorge,

Podrias probar usando elasticsearch_http como plugin de output y ver si te da un error de outofmemory? Esto esta sucediendo en equipos que tienen elasticsearch corriendo en localhost?

Saludos!

Atentamente

 

Juan Berner |Seguridad Informática Argentina

  

Arias 3751, Piso 7 (C1430CRG) Ciudad de Buenos Aires

Teléfono  (+5411) 4640-8000 int. 8844    


Jorge Herrera

unread,
Dec 30, 2014, 4:16:30 PM12/30/14
to Juan Berner, elastics...@googlegroups.com
Asi es, logstash y elastic estan en la misma maquina.

Probé con elasticsearch_http y duró el doble pero al final murio con este error

{:timestamp=>"2014-12-30T21:11:14.567000+0000", :message=>"A plugin had an unrecoverable error. Will restart this plugin.\n  Plugin: <LogStash::Inputs::Lumberjack ssl_certificate=>\"/etc/pki/tls/private/logstash-forwarder.crt\", ssl_key=>\"/etc/pki/tls/private/logstash-forwarder.key\", type=>\"forwarder\", host=>\"0.0.0.0\">\n  Error: Bad file descriptor - Bad file descriptor", :level=>:error}
Error: Your application used more memory than the safety cap of 500M.
Specify -J-Xmx####m to increase it (#### = cap size in MB).
Specify -w for full OutOfMemoryError stack trace

Saludos y felices fiestas!

Nacho Perez

unread,
Jul 20, 2015, 11:15:52 AM7/20/15
to elastics...@googlegroups.com

Hola,

Igual llego un poco tarde !!!

El problema lo tienes en la Memoria que le asignas al LOGSTASH. En mi caso yo le asigno 1.5Gb de memoria.

Puedes realizar el cambio en el  fichero "/opt/logstash/bin/logstash" o donde hayas realizado la instalación.

En tu caso tendrás:

# Defaults you can override with environment variables
LS_HEAP_SIZE="${LS_HEAP_SIZE:=500m}"

Yo lo cambié por :

# Defaults you can override with environment variables
LS_HEAP_SIZE="${LS_HEAP_SIZE:=1536m}"

Espero que os sirva el comentario.


Un saludo

Pere Urbon-Bayes

unread,
Jul 24, 2015, 5:24:28 AM7/24/15
to Nacho Perez, elastics...@googlegroups.com
Buenos dias,  
    muchos de los problemas de memoria fueron arreglados en las ultimas versiones (1.5.2 en adelante) mediante la inclusion the in circuitbraker. Si es possible te recomendaria actualizarte, mediante augmentar la memoria estas emmascarando el problema.

Saludos.

- purbon

--
Reply all
Reply to author
Forward
0 new messages