Configuration Logstash : 'grep' non trouvé dans filter

[Safia G]

Bonjour,

Dans le fichier de configuration de Logstash je veux utiliser grep dans filter comme ceci:

filter
{
    grep
    {
        match => { "message" => "command "}
    }
}

Mais le message d'erreur suivant apparaît:
 
Couldn't find any filter plugin named 'grep'. Are you sure this is correct? Trying to load the grep filter plugin resulted in this error: no such file to load -- logstash/filters/grep


Vous auriez une idée de comment régler ce problème svp?

[David Pilato]

En supposant que tu utilises la version 1.4.x de LS, regarde le début de cette doc: http://logstash.net/docs/1.4.2/filters/grep

This is a community-contributed plugin! It does not ship with logstash by default, but it is easy to install! To use this, you must have installed the contrib plugins package.

-- 

David Pilato - Developer | Evangelist 

elastic.co

@dadoonet | @elasticsearchfr | @scrutmydocs

--
Attention : changement d'URL ! Utilisez dorénavant https://discuss.elastic.co/c/in-your-native-tongue/discussions-en-francais
 
Suivez aussi le compte twitter : @ElasticsearchFR et rejoignez notre meetup : Elasticsearch FR
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Elasticsearch FR".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.
Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/elasticsearch-fr/c2235da2-6ee3-4742-b7b5-ad8f286d9d48%40googlegroups.com.
Pour obtenir davantage d'options, consultez la page https://groups.google.com/d/optout.

[Safia G]

Merci pour votre réponse.
Alors même en suivant les instructions j'ai toujours le même problème.

J'utilise bien la version 1.4.2 de Logstagh. J'ai téléchargé logstash-contrib-1.4.2.tar.gz.
Les 2 sont extraits dans le même chemin:

tar zxf ~/logstash-1.4.2.tar.gz

tar zxf ~/logstash-contrib-1.4.2.tar.gz

Mais l'erreur persiste, le plugin 'grep' n'est toujours pas reconnu.. :/

[David Pilato]

Essaye la version 1.5.0 qui vient de sortir.

Elle a un système de gestion des plugins comme elasticsearch qui devrait te simplifier la tache.

-- 

David Pilato - Developer | Evangelist 

elastic.co

@dadoonet | @elasticsearchfr | @scrutmydocs

--
Attention : changement d'URL ! Utilisez dorénavant https://discuss.elastic.co/c/in-your-native-tongue/discussions-en-francais
 
Suivez aussi le compte twitter : @ElasticsearchFR et rejoignez notre meetup : Elasticsearch FR
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Elasticsearch FR".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.

Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/elasticsearch-fr/6e491407-23dd-4f38-b389-4eda2e1e330e%40googlegroups.com.

[Safia G]

Bon bah j'ai aussi testé avec la version 1.5.0 de LS et j'ai toujours la même erreur..

Je suis vraiment bloquée, je trouve aucune solution à ce problème.. :(

[David Pilato]

Peux tu donner la liste des opérations que tu as faites ?

Aussi ce que tu veux faire ?

--

David ;-)

Twitter : @dadoonet / @elasticsearchfr / @scrutmydocs

Le 21 mai 2015 à 12:13, Safia G <grimic...@gmail.com> a écrit :

Bon bah j'ai aussi testé avec la version 1.5.0 de LS et j'ai toujours la même erreur..

Je suis vraiment bloquée, je trouve aucune solution à ce problème.. :(

--

Attention : changement d'URL ! Utilisez dorénavant https://discuss.elastic.co/c/in-your-native-tongue/discussions-en-francais
 
Suivez aussi le compte twitter : @ElasticsearchFR et rejoignez notre meetup : Elasticsearch FR
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Elasticsearch FR".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.

Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/elasticsearch-fr/83c830fb-e6c5-447c-98e5-b7570956b3cf%40googlegroups.com.

[Safia G]

Concernant LS 1.4.2:
- je l'ai téléchargé et décompréssé sur /home/osadmin
- j'ai créé un fichier de configuration dans LS contenant un grep dans le filter. J'ai lancé bin/logstash -f logstash.conf
- m'ayant affiché l'erreur que grep n'était pas trouvé, dans /home/osadmin/LS1.4 j'ai tapé : bin/plugin install contrib
ERROR: Unable to download http://download.elasticsearch.org/logstash/logstash/logstash-contrib-1.4.2.tar.gz
Exiting.

-après cette erreur, j'ai tenté la manière manuelle en téléchargeant logstash-contrib-1.4.2.tar.gz et en le décompressant dans /home/osadmin.
J'ai à nouveau lancé bin/logstash -f logstash.conf mais grep n'est toujours pas trouvé

Concernant LS 1.5.0:
- je l'ai téléchargé et décompréssé sur /home/osadmin
- j'ai créé un fichier de configuration dans LS contenant un grep dans le filter. J'ai lancé bin/logstash -f logstash.conf

Unable to find JRuby.
If you are a user, this is a bug.
If you are a developer, please run 'rake bootstrap'. Running 'rake' requires the 'ruby' program be available.

- j'ai ensuite installé jruby et relancé le fichier de configuration:
The error reported is:

  Couldn't find any filter plugin named 'grep'. Are you sure this is correct? Trying to load the grep filter plugin resulted in this error: no such file to load -- logstash/filters/grep

- ayant à nouveau la même erreur j'ai retenté d'installé les contrib de manière automatique et manuelle mais toujours la même erreur..




Ce que je voudrais faire c'est récupérer seulement les logs correspondant à un pattern défini.

Merci pour votre aide..

[David Pilato]

Comment as tu téléchargé logstash 1.5?

--

David ;-)

Twitter : @dadoonet / @elasticsearchfr / @scrutmydocs

--

Attention : changement d'URL ! Utilisez dorénavant https://discuss.elastic.co/c/in-your-native-tongue/discussions-en-francais
 
Suivez aussi le compte twitter : @ElasticsearchFR et rejoignez notre meetup : Elasticsearch FR
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Elasticsearch FR".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.

Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/elasticsearch-fr/9bce43c8-dbec-4726-a842-514eb674a8af%40googlegroups.com.

[Safia G]

J'ai téléchargé logstash-1.5.0.tar.gz et l'ai décompréssé sur /home/osadmin: tar xvzf logstash-1.5.0.tar.gz.
Puis j'ai créé un fichier de configuration..etc

[David Pilato]

Et ça râle pour une histoire de jruby ?

Très très très bizarre.

Les utilisateurs n'ont pas besoin d'installer quoi que ce soit à part une JVM...

--

David ;-)

Twitter : @dadoonet / @elasticsearchfr / @scrutmydocs

Le 22 mai 2015 à 11:01, Safia G <grimic...@gmail.com> a écrit :

J'ai téléchargé logstash-1.5.0.tar.gz et l'ai décompréssé sur /home/osadmin: tar xvzf logstash-1.5.0.tar.gz.
Puis j'ai créé un fichier de configuration..etc

--

Attention : changement d'URL ! Utilisez dorénavant https://discuss.elastic.co/c/in-your-native-tongue/discussions-en-francais
 
Suivez aussi le compte twitter : @ElasticsearchFR et rejoignez notre meetup : Elasticsearch FR
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Elasticsearch FR".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.

Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/elasticsearch-fr/8cc6d989-9ed6-441b-8ce4-e61c032e4812%40googlegroups.com.

[Safia G]

J'ai installé une autre VM avec LS 1.5. Sur celle-ci j'ai pas de problème avec jruby mais grep n'est toujours pas trouvé.. :/

Y'aurait pas une autre alternative à grep?

[David Pilato]

Bonne idée de réfléchir au cas d’utilisation.

Tu veux faire quoi en fait ?

-- 

David Pilato - Developer | Evangelist 

elastic.co

@dadoonet | @elasticsearchfr | @scrutmydocs

Le 1 juin 2015 à 11:21, Safia G <grimic...@gmail.com> a écrit :

J'ai installé une autre VM avec LS 1.5. Sur celle-ci j'ai pas de problème avec jruby mais grep n'est toujours pas trouvé.. :/

Y'aurait pas une autre alternative à grep?

--
Attention : changement d'URL ! Utilisez dorénavant https://discuss.elastic.co/c/in-your-native-tongue/discussions-en-francais
 
Suivez aussi le compte twitter : @ElasticsearchFR et rejoignez notre meetup : Elasticsearch FR
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Elasticsearch FR".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.

Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/elasticsearch-fr/22184636-299e-48c4-9179-0e40075b740f%40googlegroups.com.

[Safia G]

Je voudrais récupérer seulement les logs ayant le même pattern.

Par exemple j'ai ces 4 logs:

Wed May  27 15:26:12.804 [conn10] command elkdb.$cmd command: { getlasterror: 1, j: true }
ntoreturn:1 keyUpdates:0  reslen:67 9ms

Wed May  27 17:21:39.569 [conn38] command elkdb.$cmd command: { getlasterror: 1 }
ntoreturn:1 keyUpdates:0  reslen:67 0ms

Thu May 21 15:37:34.269 [conn9134] insert elkdb.elkcol ninserted:1 keyUpdates:0 locks(micros) w:97 0ms

Thu May 21 15:37:34.369 [conn9134] insert elkdb.elkcol ninserted:1 keyUpdates:0 locks(micros) w:269 0ms


Je voudrais récupérer ces 2 types de logs pour récupérer "9ms" (1er log) ou "w:97" (3eme log).
Pour cela je voulais d'abord récupérer les logs contenant un pattern "DATE... conn ... command elkdb.$cmd command ... ntoreturn:1.." pour le 1er type.
Pour le 2ème type, je voulais un pattern "DATE ... conn ... insert elkdb.elkcol ninserted:1"

Pour cela j'ai donc besoin de grep.

Cela dit j'adopte peut-être pas la bonne méthode..

[David Pilato]

En effet.

Le plugin grep n’est plus dispo en 1.5.0. 

En fait, il n’est plus utile.

Tu peux faire:

filter {

  if [message] =~ /something/ {  

    drop {} 

  }

}

-- 

David Pilato - Developer | Evangelist 

elastic.co

@dadoonet | @elasticsearchfr | @scrutmydocs

--
Attention : changement d'URL ! Utilisez dorénavant https://discuss.elastic.co/c/in-your-native-tongue/discussions-en-francais
 
Suivez aussi le compte twitter : @ElasticsearchFR et rejoignez notre meetup : Elasticsearch FR
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Elasticsearch FR".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.

Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/elasticsearch-fr/f20e87d5-9c31-4800-8557-ab97d56b332e%40googlegroups.com.

[Safia G]

Aaaah d'accord tout s'explique!

Merci beaucoup ! :)