Configuration Logstash : 'grep' non trouvé dans filter

132 views
Skip to first unread message

Safia G

unread,
May 7, 2015, 5:15:07 AM5/7/15
to elastics...@googlegroups.com
Bonjour,

Dans le fichier de configuration de Logstash je veux utiliser grep dans filter comme ceci:

filter
{
    grep
    {
        match => { "message" => "command "}
    }
}

Mais le message d'erreur suivant apparaît:
 
Couldn't find any filter plugin named 'grep'. Are you sure this is correct? Trying to load the grep filter plugin resulted in this error: no such file to load -- logstash/filters/grep


Vous auriez une idée de comment régler ce problème svp?


David Pilato

unread,
May 7, 2015, 10:29:43 AM5/7/15
to elastics...@googlegroups.com
En supposant que tu utilises la version 1.4.x de LS, regarde le début de cette doc: http://logstash.net/docs/1.4.2/filters/grep

This is a community-contributed plugin! It does not ship with logstash by default, but it is easy to install! To use this, you must have installed the contrib plugins package.


-- 
David Pilato - Developer | Evangelist 





--
Attention : changement d'URL ! Utilisez dorénavant https://discuss.elastic.co/c/in-your-native-tongue/discussions-en-francais
 
Suivez aussi le compte twitter : @ElasticsearchFR et rejoignez notre meetup : Elasticsearch FR
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Elasticsearch FR".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.
Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/elasticsearch-fr/c2235da2-6ee3-4742-b7b5-ad8f286d9d48%40googlegroups.com.
Pour obtenir davantage d'options, consultez la page https://groups.google.com/d/optout.

Safia G

unread,
May 20, 2015, 4:13:46 AM5/20/15
to elastics...@googlegroups.com
Merci pour votre réponse.
Alors même en suivant les instructions j'ai toujours le même problème.

J'utilise bien la version 1.4.2 de Logstagh. J'ai téléchargé logstash-contrib-1.4.2.tar.gz.
Les 2 sont extraits dans le même chemin:
tar zxf ~/logstash-1.4.2.tar.gz
tar zxf ~/logstash-contrib-1.4.2.tar.gz

Mais l'erreur persiste, le plugin 'grep' n'est toujours pas reconnu.. :/

David Pilato

unread,
May 20, 2015, 8:48:31 AM5/20/15
to elastics...@googlegroups.com
Essaye la version 1.5.0 qui vient de sortir.
Elle a un système de gestion des plugins comme elasticsearch qui devrait te simplifier la tache.


-- 
David Pilato - Developer | Evangelist 





--
Attention : changement d'URL ! Utilisez dorénavant https://discuss.elastic.co/c/in-your-native-tongue/discussions-en-francais
 
Suivez aussi le compte twitter : @ElasticsearchFR et rejoignez notre meetup : Elasticsearch FR
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Elasticsearch FR".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.

Safia G

unread,
May 21, 2015, 6:13:40 AM5/21/15
to elastics...@googlegroups.com
Bon bah j'ai aussi testé avec la version 1.5.0 de LS et j'ai toujours la même erreur..

Je suis vraiment bloquée, je trouve aucune solution à ce problème.. :(

David Pilato

unread,
May 21, 2015, 12:07:15 PM5/21/15
to elastics...@googlegroups.com
Peux tu donner la liste des opérations que tu as faites ?
Aussi ce que tu veux faire ?

--
David ;-)
Twitter : @dadoonet / @elasticsearchfr / @scrutmydocs

Le 21 mai 2015 à 12:13, Safia G <grimic...@gmail.com> a écrit :

Bon bah j'ai aussi testé avec la version 1.5.0 de LS et j'ai toujours la même erreur..

Je suis vraiment bloquée, je trouve aucune solution à ce problème.. :(

--
Attention : changement d'URL ! Utilisez dorénavant https://discuss.elastic.co/c/in-your-native-tongue/discussions-en-francais
 
Suivez aussi le compte twitter : @ElasticsearchFR et rejoignez notre meetup : Elasticsearch FR
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Elasticsearch FR".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.
Message has been deleted

Safia G

unread,
May 22, 2015, 3:48:04 AM5/22/15
to elastics...@googlegroups.com
Concernant LS 1.4.2:
- je l'ai téléchargé et décompréssé sur /home/osadmin
- j'ai créé un fichier de configuration dans LS contenant un grep dans le filter. J'ai lancé bin/logstash -f logstash.conf
- m'ayant affiché l'erreur que grep n'était pas trouvé, dans /home/osadmin/LS1.4 j'ai tapé : bin/plugin install contrib
ERROR: Unable to download http://download.elasticsearch.org/logstash/logstash/logstash-contrib-1.4.2.tar.gz
Exiting.

-après cette erreur, j'ai tenté la manière manuelle en téléchargeant logstash-contrib-1.4.2.tar.gz et en le décompressant dans /home/osadmin.
J'ai à nouveau lancé bin/logstash -f logstash.conf mais grep n'est toujours pas trouvé

Concernant LS 1.5.0:
- je l'ai téléchargé et décompréssé sur /home/osadmin
- j'ai créé un fichier de configuration dans LS contenant un grep dans le filter. J'ai lancé bin/logstash -f logstash.conf

Unable to find JRuby.
If you are a user, this is a bug.
If you are a developer, please run 'rake bootstrap'. Running 'rake' requires the 'ruby' program be available.

- j'ai ensuite installé jruby et relancé le fichier de configuration:
The error reported is:

  Couldn't find any filter plugin named 'grep'. Are you sure this is correct? Trying to load the grep filter plugin resulted in this error: no such file to load -- logstash/filters/grep

- ayant à nouveau la même erreur j'ai retenté d'installé les contrib de manière automatique et manuelle mais toujours la même erreur..




Ce que je voudrais faire c'est récupérer seulement les logs correspondant à un pattern défini.

Merci pour votre aide..

David Pilato

unread,
May 22, 2015, 3:53:32 AM5/22/15
to elastics...@googlegroups.com
Comment as tu téléchargé logstash 1.5?


--
David ;-)
Twitter : @dadoonet / @elasticsearchfr / @scrutmydocs
--
Attention : changement d'URL ! Utilisez dorénavant https://discuss.elastic.co/c/in-your-native-tongue/discussions-en-francais
 
Suivez aussi le compte twitter : @ElasticsearchFR et rejoignez notre meetup : Elasticsearch FR
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Elasticsearch FR".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.

Safia G

unread,
May 22, 2015, 5:01:06 AM5/22/15
to elastics...@googlegroups.com

J'ai téléchargé logstash-1.5.0.tar.gz et l'ai décompréssé sur /home/osadmin: tar xvzf logstash-1.5.0.tar.gz.
Puis j'ai créé un fichier de configuration..etc

David Pilato

unread,
May 22, 2015, 5:08:35 AM5/22/15
to elastics...@googlegroups.com
Et ça râle pour une histoire de jruby ?
Très très très bizarre.

Les utilisateurs n'ont pas besoin d'installer quoi que ce soit à part une JVM...


--
David ;-)
Twitter : @dadoonet / @elasticsearchfr / @scrutmydocs

Le 22 mai 2015 à 11:01, Safia G <grimic...@gmail.com> a écrit :


J'ai téléchargé logstash-1.5.0.tar.gz et l'ai décompréssé sur /home/osadmin: tar xvzf logstash-1.5.0.tar.gz.
Puis j'ai créé un fichier de configuration..etc

--
Attention : changement d'URL ! Utilisez dorénavant https://discuss.elastic.co/c/in-your-native-tongue/discussions-en-francais
 
Suivez aussi le compte twitter : @ElasticsearchFR et rejoignez notre meetup : Elasticsearch FR
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Elasticsearch FR".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.

Safia G

unread,
Jun 1, 2015, 5:21:14 AM6/1/15
to elastics...@googlegroups.com
J'ai installé une autre VM avec LS 1.5. Sur celle-ci j'ai pas de problème avec jruby mais grep n'est toujours pas trouvé.. :/

Y'aurait pas une autre alternative à grep?

David Pilato

unread,
Jun 1, 2015, 5:28:13 AM6/1/15
to elastics...@googlegroups.com
Bonne idée de réfléchir au cas d’utilisation.

Tu veux faire quoi en fait ?


-- 
David Pilato - Developer | Evangelist 





Le 1 juin 2015 à 11:21, Safia G <grimic...@gmail.com> a écrit :

J'ai installé une autre VM avec LS 1.5. Sur celle-ci j'ai pas de problème avec jruby mais grep n'est toujours pas trouvé.. :/

Y'aurait pas une autre alternative à grep?

--
Attention : changement d'URL ! Utilisez dorénavant https://discuss.elastic.co/c/in-your-native-tongue/discussions-en-francais
 
Suivez aussi le compte twitter : @ElasticsearchFR et rejoignez notre meetup : Elasticsearch FR
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Elasticsearch FR".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.

Safia G

unread,
Jun 1, 2015, 6:12:27 AM6/1/15
to elastics...@googlegroups.com
Je voudrais récupérer seulement les logs ayant le même pattern.

Par exemple j'ai ces 4 logs:

Wed May  27 15:26:12.804 [conn10] command elkdb.$cmd command: { getlasterror: 1, j: true }
ntoreturn:1 keyUpdates:0  reslen:67 9ms

Wed May  27 17:21:39.569 [conn38] command elkdb.$cmd command: { getlasterror: 1 }
ntoreturn:1 keyUpdates:0  reslen:67 0ms

Thu May 21 15:37:34.269 [conn9134] insert elkdb.elkcol ninserted:1 keyUpdates:0 locks(micros) w:97 0ms

Thu May 21 15:37:34.369 [conn9134] insert elkdb.elkcol ninserted:1 keyUpdates:0 locks(micros) w:269 0ms


Je voudrais récupérer ces 2 types de logs pour récupérer "9ms" (1er log) ou "w:97" (3eme log).
Pour cela je voulais d'abord récupérer les logs contenant un pattern "DATE... conn ... command elkdb.$cmd command ... ntoreturn:1.." pour le 1er type.
Pour le 2ème type, je voulais un pattern "DATE ... conn ... insert elkdb.elkcol ninserted:1"

Pour cela j'ai donc besoin de grep.

Cela dit j'adopte peut-être pas la bonne méthode..

David Pilato

unread,
Jun 1, 2015, 6:31:54 AM6/1/15
to elastics...@googlegroups.com
En effet.

Le plugin grep n’est plus dispo en 1.5.0. 
En fait, il n’est plus utile.

Tu peux faire:

filter {
  if [message] =~ /something/ {  
    drop {} 
  }
}



-- 
David Pilato - Developer | Evangelist 





--
Attention : changement d'URL ! Utilisez dorénavant https://discuss.elastic.co/c/in-your-native-tongue/discussions-en-francais
 
Suivez aussi le compte twitter : @ElasticsearchFR et rejoignez notre meetup : Elasticsearch FR
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Elasticsearch FR".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.

Safia G

unread,
Jun 1, 2015, 8:44:27 AM6/1/15
to elastics...@googlegroups.com
Aaaah d'accord tout s'explique!

Merci beaucoup ! :)
Reply all
Reply to author
Forward
0 new messages