Architecture Logstash/ES : Redis vs F5 load balancer ?

[Bertrand Thomas]

Bonjour,

Je suis en train de monter une infrastructure de gestion de logs avec Logstash/ElasticSearch/Kibana. Je souhaite démarrer "petit" au début (approx 2500 events/sec, 45Go/jour) pour ensuite monter en charge (jusqu'à 20000 events/sec, 2 To/jour). Je me pose quelques questions en terme d'architecture pour bien démarrer et ensuite pouvoir monter en charge sans problème. Voici mon idée initiale :

Tous mes clients émettent en Syslog vers un logstash broker (Redis). Le logstash broker transmet les logs vers 3 logstash Indexer. Les Indexers transmettent ensuite vers un noeud client ES, appartenant à un cluster ES composé de 4 noeuds standard (data/master) et un dernier noeud ES client hébergeant Kibana.

Mes questions :

- Quel est l'intérêt de passer par un broker Redis ? Est-il possible de remplacer ce broker redis par une VIP F5 Load Balancer pointant directement sur les 3 indexers ? 

- Concernant le cluster ES, les noeuds sont aussi bien master que data. Est-ce que cela peut poser problème si je monte en charge ?

Merci d'avance pour vos réponses, remarques, avis.

Bertrand