Привет коллеги,
для тех кто в теме Hadoop+Erlang, возможно будет полезно узнать о приложении 'eavro' - это отображение Apache Avro на Erlang. Что там есть:
* Encode/decode в/из бинарный формат полностью поддерживается для всех типов Avro
* Read/write Object Container Files
* deflate - поддерживается
* snappy - пока не поддерживается
* Avro RPC protocol поверх TCP/IP
* Client
* Server
Для тех кто не сильно в теме, то можете воспринимать это как ещё одно средство для сериализации, десериализации данных в бинарном виде, причем продуманны моменты с большими данными. Наличие в Avro Object Container File формата, делает хранение данных в файлах, делом довольно культурным (файл содержит хидер с описанием схемы данных), на уровне этого контейнера поддерживается сжатие данных в формате deflate, а также опционально snappy (в eavro пока не реализован). Avro OCF есть практически БД (точнее таблица). Также Avro определяет IPC протокол базирующийся на Avro сериализации/десереализации.
Собственно репа:
Отзывы, а тем более патчи (если дойдет до того) приветствуются!