Быстрое хранилище данных с последовательным доступом

[Max Lapshin]

Решая задачу обработки статистики, я пришел к выводу, что самое
быстрое хранилище write-once данных, отсортированных по времени, это
erlang:term_to_binary(Lines, [compressed, {minor_version,1}])

Немного поподробнее: есть CSV файл с 300 - 10000 К строчек. Они все
отсортированы по времени и будут читаться только отсортированные по
времени,
никак по-другому.

Надо положить данные так, что бы их потом можно было очень-очень
быстро прочитать. Желательно уложиться примерно в районе микросекунды
на одну строчку.

Я пытался допилить CSV парсер, что бы он читал быстро, но плюнул.
Слишком сложно и ниже 3-5 мкс опустить не получилось.

Всякие БД очевидно плохи сетевой коннективностью, хотя та же тарантула
вроде должна быть в районе одной микросекунды.

Решение оказалось очень простым: данные разбивать по суткам и класть в
файлы указанным методом.
Это фантастически быстрый способ. Рекомендую.

[Kirill Zaborsky]

Макс, а 300 - 10000 К это общий объём, не за сутки ведь? Сколько тогда за один день выходит?

Ты ведь не считываешь за всё время сразу?

С уважением,

Кирилл Заборский.

23 мая 2012 г., 12:26 пользователь Max Lapshin <max.l...@gmail.com> написал:

--
Страница рассылки: http://groups.google.com/group/erlang-russian
Новости: http://erlanger.ru
Написать письмо: erlang-...@googlegroups.com
Отписаться: erlang-russia...@googlegroups.com

[Max Lapshin]

За сутки.

[Malik Baktiyarov]

тему могу дополнить такой ссылкой:

https://github.com/esl/sext

A sortable serialization library, offers a serialization format (a la term_to_binary()).