[ANN] Apache Avro Erlang Binding

78 views
Skip to first unread message

Vyacheslav Vorobyov

unread,
Sep 30, 2014, 4:18:28 AM9/30/14
to erlang-...@googlegroups.com
Привет коллеги, 

для тех кто в теме Hadoop+Erlang, возможно будет полезно узнать о приложении 'eavro' - это отображение Apache Avro на Erlang. Что там есть:

 * Encode/decode в/из бинарный формат полностью поддерживается для всех типов Avro
 * Read/write Object Container Files
    * deflate - поддерживается
    * snappy - пока не поддерживается
 * Avro RPC protocol поверх TCP/IP
    * Client
    * Server

Для тех кто не сильно в теме, то можете воспринимать это как ещё одно средство для сериализации, десериализации данных в бинарном виде, причем продуманны моменты с большими данными. Наличие в Avro Object Container File формата, делает хранение данных в файлах, делом довольно культурным (файл содержит хидер с описанием схемы данных), на уровне этого контейнера поддерживается сжатие данных в формате deflate, а также опционально snappy (в eavro пока не реализован). Avro OCF есть практически БД (точнее таблица). Также Avro определяет IPC протокол базирующийся на Avro сериализации/десереализации.

Собственно репа:
Отзывы, а тем более патчи (если дойдет до того) приветствуются!
Reply all
Reply to author
Forward
0 new messages