elastic search + graylog2 - как выборочно удалить данние из Elastic?

[Oleksandr Kunytsia]

Здраствуйте,

Я осваиваю средство для сбора логов с серверов в одном месте - gralog2, он хранит логи в ES. 

Вопрос - как можно управлять данными в ES- backup, удаление? 

В процесе тестирования база быстро растет, я пробовал удалять вот так записи - 

curl -XDELETE 'http://127.0.0.1:9200/graylog2_5/message/_query' -d ' 

{ 

    "query_string" : { 

        "default_field" : "host", 

        "query" : "db01.local.lan" 

    } 

}' 

но при этом, как я понимаю, они только помечаются, как удаленные -

------------ 

curl -XGET 'http://localhost:9200/graylog2_5/_stats?pretty=true' 

...

  "primaries" : {

      "docs" : {

        "count" : 2079228,

        "deleted" : 6170

      },

      "store" : {

        "size" : "1.3gb",

        "size_in_bytes" : 1465965778,

        "throttle_time" : "0s",

        "throttle_time_in_millis" : 0

      },

...

--------------

При этом, размер базы на диске не уменьшается. 

curl -XPOST 'http://localhost:9200/graylog2_5/_flush' - не помогает. 

Как уменьшить размер базы, удалить "deleted"  ?

Спасибо!

[Igor Motov]

Обычно, эта проблема решается созданием нового индекса на каждый день (час/неделю/месяц в зависимости от размера данных). С graylog2 я не знаком, а вот logstash это делает автоматически и по умолчанию. Удаление всего индекса - очень быстрая операция по сравнению с удалением записей из индекса. Как вы правильно заметили записи удаляются не сразу, а только в процессе слияния сегментов (merge).

[Igor Motov]

в качестве web-интерфейса для просмотра данных, собранных logstash, можно использовать kibana (http://www.elasticsearch.org/overview/kibana/) 

[ellyas ellyas]

Средствами kibana можно удалять "записи из индекса" ? Подскажите пожалуйста альтернативный способ, ведь как-то эта функция должна быть реализована - она же основная :)

[Igor Motov]

Для удаление некоторых записей из индексов - посмотрите http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/docs-delete-by-query.html

Для удаления старых индексов целиком - https://github.com/elasticsearch/curator#curator