Выбор БД, для задачи сбора частот событий

[Alexander Sibiryakov]

Всем привет.

Разрабатываем решение для классификации логов. У нас есть большое кол-во логов, каждый лог состоит из событий. Мы хотим при классификации каждого нового лога, узнать насколько широко представлено каждое из его событий в нашей коллекции. Для этого у нас есть таблица с событиями, к которой мы делаем запросы на поиск кол-ва похожих событий и сбор метаданных про логи, в которых содержаться найденные события.

Статистика по таблице событий:

log_events_known, MyISAM, 115M строк, 62 колонки, 131 сред. длина строки, 15Gb данные, 8Gb индекс. Обычно в строке большинство колонок NULL.

В нашем основном запросе есть AND по нескольким полям и происходит JOIN с еще двумя таблицами метаданных, небольшими, с использованием индексов, вроде бы проблем с ними нет.

Основная проблема, проходы по log_events_known, иногда даже используя один из индексов по полю, необходимо сделать довольно продолжительный перебор, чтобы собрать совпадения по другим полям.

Наши требования к работе БД с этим данными:

1. Эффективные параллельные SELECT и INSERT,
2. Эффективная репликация.

Версия MySQL 5.1.71. В целом текущее решение работает сносно, но мы хотим быстрее. Мы можем попытаться порешать эту задачу дальнейшими оптимизациями запроса и репликацией. Но прежде чем этим заниматься, я бы хотел узнать в каком виде актуальные продукты на рынке: MariaDB, MySQL 5.5/5.6. Насколько в них улучшены п.1 и п.2 и улучшены ли? Очень хочется услышать мнения людей, реально использовавших эти продукты. Спасибо!