Re: [elasticsearch-fr] Récupération des logs de plusieurs machines par Logstash

[Guillaume]

Hello,

il te faut mettre en place des shippers sur tes autres serveurs (syslog-ng, logstash-forwarder ....) qui vont envoyer les logs à ton logstash, qui aura pour rôle de parser et indexer tes logs dans es ou autre.

https://github.com/elasticsearch/logstash-forwarder

--
Cordialement,
   Guillaume Dievart.

Le 23 avril 2015 15:35, Safia G <grimic...@gmail.com> a écrit :

Bonjour,

J'ai installé la pile ELK, tout fonctionne bien mais ma seule source de logs est ma machine locale.
Je voudrais que Logstash sur ma machine(serveur) récupère les logs de plusieurs autres machines.
Que faut-il installer sur les autres machines?
Comment configurer Logstash sur ma machine serveur pour récupérer les logs des autres machines?

Après d'importantes recherches et de nombreux tests je n'y arrive toujours pas et c'est assez urgent.

Merci d'avance pour votre aide!

--
--
---
Vous pouvez également poster et consulter les réponses en anglais sur le groupe Elasticsearch https://groups.google.com/group/elasticsearch
 
Si vous avez également posté votre question sur la mailing list elasti...@googlegroups.com, merci d'indiquer ici le lien vers cette discussion pour faciliter le suivi.
 
Twitter : @ElasticsearchFR https://twitter.com/#!/ElasticsearchFR
Site web (English) : http://www.elasticsearch.org/
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Elasticsearch FR".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.
Pour envoyer un message à ce groupe, envoyez un e-mail à l'adresse elastics...@googlegroups.com.
Visitez ce groupe à l'adresse http://groups.google.com/group/elasticsearch-fr.
Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/elasticsearch-fr/740c6fa3-9a56-45bb-88eb-6c3637d5758d%40googlegroups.com.
Pour obtenir davantage d'options, consultez la page https://groups.google.com/d/optout.

[David Pilato]

Installe logstash sur chaque machine et utilise lumberjack (logstash forwarder) pour envoyer tes logs vers un logstash central par exemple.

Ou envoie tes logs vers rabbitmq...

Puis consommation par un ou plusieurs logstash ?

--

David ;-)

Twitter : @dadoonet / @elasticsearchfr / @scrutmydocs

[Guillaume]

logstash + logstash-forwarder sur chaque machine ?

--
Cordialement,
   Guillaume Dievart.

Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/elasticsearch-fr/C475DCEB-BFB2-42FD-8F6A-1F76B03D9496%40pilato.fr.

[David Pilato]

Non non. logstash forwarder seul.

--

David ;-)

Twitter : @dadoonet / @elasticsearchfr / @scrutmydocs

Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/elasticsearch-fr/CAMe%2BTpHTQRcwfSGNV89dXcHsCxmmg4hg_8NJ1gzvVqb1ESTOCg%40mail.gmail.com.

[David Pilato]

Tu as lu la doc ?

https://github.com/elastic/logstash-forwarder#configuring

-- 

David Pilato - Developer | Evangelist 

elastic.co

@dadoonet | @elasticsearchfr | @scrutmydocs

Le 23 avr. 2015 à 16:58, Safia G <grimic...@gmail.com> a écrit :

C'est bon j'ai réussi à installé go avec un "yum install go" tout simplement..

Comment configurer logstash-forwarder pour spécifier qu'il envoie ses logs au logstash central?

Merci pour vos réponses!

--
--
---
Vous pouvez également poster et consulter les réponses en anglais sur le groupe Elasticsearch https://groups.google.com/group/elasticsearch
 
Si vous avez également posté votre question sur la mailing list elasti...@googlegroups.com, merci d'indiquer ici le lien vers cette discussion pour faciliter le suivi.
 
Twitter : @ElasticsearchFR https://twitter.com/#!/ElasticsearchFR
Site web (English) : http://www.elasticsearch.org/
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Elasticsearch FR".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.
Pour envoyer un message à ce groupe, envoyez un e-mail à l'adresse elastics...@googlegroups.com.
Visitez ce groupe à l'adresse http://groups.google.com/group/elasticsearch-fr.

Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/elasticsearch-fr/40732658-a981-4866-a1fb-faf10669c28a%40googlegroups.com.

[David Pilato]

J’ai trouvé ce lien qui à mon avis est assez complet.

http://www.logstashbook.com/TheLogstashBook_sample.pdf

Je pense qu’on devrait avoir une doc équivalente sur le site de logstash.

En espérant que ça t'aide

-- 

David Pilato - Developer | Evangelist 

elastic.co

@dadoonet | @elasticsearchfr | @scrutmydocs

Le 24 avr. 2015 à 10:08, Safia G <grimic...@gmail.com> a écrit :

Oui j'ai lu la doc mais j'arrive pas à comprendre où il faut spécifier sur quel logstash cible il faut envoyer les logs.

Est-ce dans la partie suivante du fichier de config de logstash-forwarder qu'il faut le spécifier?
 "network": {
    # A list of downstream servers listening for our messages.
    # logstash-forwarder will pick one at random and only switch if
    # the selected one appears to be dead or unresponsive
    #"servers": [ "localhost:5043" ],

Et dans le logstash cible j'ai compris qu'il fallait utiliser lumberjack dans le input du fichier de config. Est-ce bien ici que je dois spécifier les autres machines?

# The paths to your ssl cert and key
    ssl_certificate => "path/to/ssl.crt"
    ssl_key => "path/to/ssl.key"

"path/to/ssl.crt" c'est le chemin du ssl.crt de logstash-forwarder? Si oui, je ne vois pas quel est le chemin vu que c'est dans un autre serveur?

Si j'avais un exemple précis ça m'aiderait beaucoup mais j'en trouve pas :/

--
--
---
Vous pouvez également poster et consulter les réponses en anglais sur le groupe Elasticsearch https://groups.google.com/group/elasticsearch
 
Si vous avez également posté votre question sur la mailing list elasti...@googlegroups.com, merci d'indiquer ici le lien vers cette discussion pour faciliter le suivi.
 
Twitter : @ElasticsearchFR https://twitter.com/#!/ElasticsearchFR
Site web (English) : http://www.elasticsearch.org/
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Elasticsearch FR".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.
Pour envoyer un message à ce groupe, envoyez un e-mail à l'adresse elastics...@googlegroups.com.
Visitez ce groupe à l'adresse http://groups.google.com/group/elasticsearch-fr.

Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/elasticsearch-fr/55cd215a-6634-4420-8e56-e25dec736fda%40googlegroups.com.

[Guillaume]

Il me semble que logstash-forwarder (ou logstash) le fait automatiquement en ajoutant un champ host, que tu pourras exploiter pour définir d'où viennent tes logs.

--
Cordialement,
   Guillaume Dievart.

Le 24 avril 2015 10:50, Safia G <grimic...@gmail.com> a écrit :

D'accord merci je vais voir ça! :)

Mais pour résumé, si j'ai bien compris, il suffit d'avoir logstash-forwarder sur les machines clientes et logstash sur la machine serveur?
Est-ce que cette solution permet de différencier les logs de chaque machine sur kibana? C'est-à-dire que sur kibana il faudrait que j'aie la possibilité de visualiser séparément les logs de chaque machine, est-ce possible?

--
--
---
Vous pouvez également poster et consulter les réponses en anglais sur le groupe Elasticsearch https://groups.google.com/group/elasticsearch
 
Si vous avez également posté votre question sur la mailing list elasti...@googlegroups.com, merci d'indiquer ici le lien vers cette discussion pour faciliter le suivi.
 
Twitter : @ElasticsearchFR https://twitter.com/#!/ElasticsearchFR
Site web (English) : http://www.elasticsearch.org/
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Elasticsearch FR".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.
Pour envoyer un message à ce groupe, envoyez un e-mail à l'adresse elastics...@googlegroups.com.
Visitez ce groupe à l'adresse http://groups.google.com/group/elasticsearch-fr.

Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/elasticsearch-fr/eedd545d-e7de-4591-84d0-318afb4d2c39%40googlegroups.com.

[Alexandre Chauvin-Hameau]

Bonsoir, nous on est parti sur nxlog sur les hosts pour avoir une approche cohérente entre unix et windows, pour les autres hosts on fait du syslog standard

Alex