Личные (опенсорсные) проекты

[Andy]

Приветствую всех!

В связи с наличием свободного времени и отсутствием публичных проектов (что является минусом в поиске работы) ищу совета по выбору такого проекта. Пожелания:

1. Подъемный силами одного человека
2. Не требующий большой инфраструктуры (фермы серверов, объемных БД и т.д.) для начала
3. Не требующий большого времени, чтоб получить первый результат (не могу гарантировать большого внимания проекту в будущем)
4. Полезный кому-нибудь (чтоб не тратить сил впустую)

Из того, над чем я думал, напрашивается только очередная SCADA (это близко мне по нынешней и предыдущим работам). Как сделать бэкенд я знаю, расширять его тоже можно: модульность предусмотреть. Но без фронтенда в этом мало практического смысла.

В общем, прошу посоветовать направление.

С уважением,

Андрей

P.S.: Имеющих такие личные проекты прошу высказаться об отношении работодателя к ним.

[Aleksey Kishkin]

Я бы не советовал какой-то большой проект типа очередной скады. Лучше маленький проект но в хорошем состоянии - то есть с чистым кодом, с документацией и в актуальном состоянии. Навскидку - интерфейс с какой нибудь sql/nosql базой. Или к примеру переписать libphonenumber гугловский на эрланг (чтобы без C драйвера).

Alexey Kishkin

P.S.: Имеющих такие личные проекты прошу высказаться об отношении работодателя к ним.

А никакого отношения. В основном помогает надувать щеки на собеседовании. И все.

[Andy]

Ну, я подразумевал как раз небольшой проект:

• IO сервер - Modbus/TCP
• Trend сервер - файловые архивы (возможно, MySQL)
• Alarm сервер - пока не думал
• GUI - HTML/JS/WebSocket

Основная проблема - создание интерфейса пользователя. Я смотрел Integraxor - в целом понравилось, но его напрямую не получится использовать, думаю. Но, таки да - небольшую библиотеку будет проще сделать.

пятница, 7 ноября 2014 г., 14:20:32 UTC+2 пользователь Alexey Kishkin написал:

Я бы не советовал какой-то большой проект типа очередной скады. Лучше маленький проект но в хорошем состоянии - то есть с чистым кодом, с документацией и в актуальном состоянии. Навскидку - интерфейс с какой нибудь sql/nosql базой. Или к примеру переписать libphonenumber гугловский на эрланг (чтобы без C драйвера).

Спасибо, посмотрю.

[Grigory Fateyev]

Hello Andy!

On Fri, 7 Nov 2014 04:38:08 -0800 (PST) you wrote:

> Ну, я подразумевал как раз небольшой проект:
>

> - IO сервер - Modbus/TCP
> - Trend сервер - файловые архивы (возможно, MySQL)
> - Alarm сервер - пока не думал
> - GUI - HTML/JS/WebSocket

>
> Основная проблема - создание интерфейса пользователя. Я смотрел

> Integraxor <http://www.integraxor.com/index-spider-phone.html>- в

> целом понравилось, но его напрямую не получится использовать, думаю.
> Но, таки да - небольшую библиотеку будет проще сделать.

Выдуманный проект "из головы", будет трудно мотивировать себя
поддерживать его. Намного проще взять проект, например рабочую идею и
переписать на erlang.

>
> пятница, 7 ноября 2014 г., 14:20:32 UTC+2 пользователь Alexey Kishkin
> написал:
> >
> > Я бы не советовал какой-то большой проект типа очередной скады.
> > Лучше маленький проект но в хорошем состоянии - то есть с чистым
> > кодом, с документацией и в актуальном состоянии. Навскидку -
> > интерфейс с какой нибудь sql/nosql базой. Или к примеру переписать
> > libphonenumber гугловский на эрланг (чтобы без C драйвера).
> >
> >
> Спасибо, посмотрю.
>

--
Best regards!
gfborn [at] gmail [dot] com

[Andy]

пятница, 7 ноября 2014 г., 15:01:07 UTC+2 пользователь Grigory Fateyev написал:

Hello Andy!
On Fri, 7 Nov 2014 04:38:08 -0800 (PST) you wrote:

Выдуманный проект "из головы", будет трудно мотивировать себя
поддерживать его. Намного проще взять проект, например рабочую идею и
переписать на erlang.

Ну, мне по работе как раз приходится работать с несколькими, и, соответственно, мне это близко. И, конечно, каждая страдает фатальными недостатками. А расчет "мотивировать" - это да, сегодня я с этим работаю, завтра - кто знает... И не совсем понял про "рабочую идею" - это та, которая работает, с которой сталкиваешься по работе или как?

[Анастасия Субботина]

Зачем мучиться, взял сделал баблорез (hft робота) на erlang'е для fix-fast protocоla, благо fast есть, fix есть пиши в свое удовольствие, Повезет - начнешь на торговле деньги зарабатывать, нет - продашь как конектор. А того круче - попадешь в инвестбанк, типа Goldman Sachs.

пятница, 7 ноября 2014 г., 14:48:22 UTC+4 пользователь Andy написал:

[Andy]

Интересное предложение, спасибо. Я думал над этим. Чтоб "рубить бабло" надо сначала его заиметь для затравки в нехилых количествах, а дальше все упирается в понимание рынка, что само по себе нетривиальная задача. Я же ищу занятие отчасти для души (то есть, не мучиться), отчасти для портфолио. Кстати, Вы меня удивили - "продашь как коннектор": разве его недостаточно реализаций, в т.ч. опенсорсных? Кто-то готов платить за очередную реализацию?

пятница, 7 ноября 2014 г., 16:18:59 UTC+2 пользователь Анастасия Субботина написал:

[Анастасия Субботина]

fix-fast в чистом виде - нет. Другие протоколы неинтересны по причине местечковости, узкого круга применения.

пятница, 7 ноября 2014 г., 14:48:22 UTC+4 пользователь Andy написал:

Приветствую всех!

[Andy]

"Нет" - в смысле "недостаточно" или "не интересно платить за него"?

пятница, 7 ноября 2014 г., 17:22:04 UTC+2 пользователь Анастасия Субботина написал:

[Анастасия Субботина]

недостаточно

пятница, 7 ноября 2014 г., 14:48:22 UTC+4 пользователь Andy написал:

Приветствую всех!

[Andy]

Вы меня озадачили. А чем существующие реализации плохи? Я мельком глянул - несколько реализаций есть, в подробности не вдавался.
Вообще же по HFT, насколько я знаю, есть реализации на ПЛИС, да и размещать надо сервер на площадке биржи - поэтому любителям тут не место. Это охладило мой интерес к таким системам. Поправьте, если неправ.

[Анастасия Субботина]

Да, размещаться необходимо как можно ближе к бирже, в идеале на бирже. Тем выше требования к устойчивости и безотказности. Насчет высокой нагрузки - биржа ограничивает активность 60 трензакциями в секунду. Основные известные составляющие - https://github.com/maxlapshin/fix (для работы с ордерами, хотя в некоторых секциях используется для получения данных), https://github.com/dmitryme/erlang_fast - (для получения данных, в некоторых случаях работа с ордерами). Два в одном, продукта совмещающего получение данных и работу с ордерами, плюс простой алгоритм и управление ордерами (логика почему и по чем) - нет.

пятница, 7 ноября 2014 г., 14:48:22 UTC+4 пользователь Andy написал:

Приветствую всех!

[Andy]

Понял, о чем Вы. Я думал о реализации протокола, а Вы говорите о торговом роботе. Подумаю.

[Анастасия Субботина]

О протоколе мое мнение следующее, насколько я узнала на текущий момент. Тот который FAST https://github.com/dmitryme/erlang_fast выполнен очень уж "правильно", то есть в нем не хватает свежей идеи по обработке протокола, какой то изюминки, он сделан по принципу других языков и не использует те преимущества erlang'а , которые в нем заложены - работа с бинарными данными, его уклон на телекоммуникации

пятница, 7 ноября 2014 г., 14:48:22 UTC+4 пользователь Andy написал:

Приветствую всех!

[Andy]

Если это тот, который Вы сейчас адаптируете, то как, минимум,битовый паттерн матчинг в нем емть - я глядел. Вы предлагаете сделать третью реализацию? Я не смотрел в вариант Максима, но все его проекты, в которые я заглядывал, выглядели качественно - возьмите его за основу.

[Andy]

С планшета пишу - интерфейс Групп неудобный. Очепятки не могу поправить.

[Dmitry Melnikov]

Ну вообще это был мой первый проект на Эрланг. Что называется проба пера. По большому счету там надо генерировать парсинг FAST сообщения исходя их xml спецификации.

P.S.
мой вас совет, не суйтесь вы в HFT с Ерлангом, не для этого он.

2014-11-07 20:36 GMT+03:00 Andy <agre...@gmail.com>:

Если это тот, который Вы сейчас адаптируете, то как, минимум,битовый паттерн матчинг в нем емть - я глядел. Вы предлагаете сделать третью реализацию? Я не смотрел в вариант Максима, но все его проекты, в которые я заглядывал, выглядели качественно - возьмите его за основу.

--
Вы получили это сообщение, поскольку подписаны на группу Erlang по-русски.

Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес erlang-russia...@googlegroups.com.
Чтобы добавлять сообщения в эту группу, отправьте письмо по адресу erlang-...@googlegroups.com.
Настройки подписки и доставки писем: https://groups.google.com/d/optout.

[Анастасия Субботина]

to dmitryme, чт на ваш взгляд мешает испоьзовать erlang?

пятница, 7 ноября 2014 г., 14:48:22 UTC+4 пользователь Andy написал:

Приветствую всех!

[Andy]

Парсинг с генерацией дерева - это да, интересно. А в целом о HFT я уже писал - спецвычислители победят софт. Только про ограничение количества операций в день не слыхал: там же весь смысл в большом количестве сверхбыстрых операций.

[Dmitry Melnikov]

ограничение зависит только от толщины вашего кошелька. Можете и 300 транзакций в секунду купить. А можете и 10 x 300 = 3000 тр/сек

2014-11-07 21:01 GMT+03:00 Andy <agre...@gmail.com>:

Парсинг с генерацией дерева - это да, интересно. А в целом о HFT я уже писал - спецвычислители победят софт. Только про ограничение количества операций в день не слыхал: там же весь смысл в большом количестве сверхбыстрых операций.

[Анастасия Субботина]

там имеется ввиду ограничениене на количество сделок, а количество транзакции - это выставление-снятие ордеров. чтобы не грузить систему "пустыми обещаниями"

пятница, 7 ноября 2014 г., 14:48:22 UTC+4 пользователь Andy написал:

Приветствую всех!

[Анастасия Субботина]

"ограничение зависит только от толщины вашего кошелька. Можете и 300 транзакций в секунду купить. А можете и 10 x 300 = 3000 тр/сек", по моим данным 30 и 60, покрайней мере на FORTS, и да, это покупается.

пятница, 7 ноября 2014 г., 14:48:22 UTC+4 пользователь Andy написал:

Приветствую всех!

[Andy]

Почитал про шлюз Фикса на Фортсе. Таки до 300, но софт должен быть лицензированным биржей. Еще раз поправьте меня, но я понимаю, что в этом деле надо сокращать латентность за счет:
1. Колокейшна на бирже
2. Аппаратной реализации стека TCP и FIX
3. Аппаратной же реализации алгоритма трейдинга
4. Отказа от PC архитектуры и прослойки в виде ОС
Эрланг для этого действительно не подходит.

Если же Вам не надо достигать этих целей, то готовые решения уже есть. Это проект Just for fun?

[Timofey Koolin]

Например мультиплексор/реверс-прокси/балансировщик L7-протоколов (HTTP/FTP/SSH/MySQL) с простой реализацией новых протоколов.
Поясню:

Чтобы можно было запустить программу на каком-то шлюзе, чтобы она слушала свой порт, принимала бы подключение. На основании каких-то данных внутри подключения (логин, пароль, домен и т.п.) принимала бы решение куда это подключение перенаправить, дальше сама подключается куда надо и работает в качестве прокси.

Для http есть nginx, apache, для FTP - jftpgw, для SSH с некоторыми допущениями можно пользоваться параметром ForceCommand, для MySQL тоже с некоторыми ограничениями mysql proxy, а какого-то универсального решения для всего сразу я не нашел.

В данный момент для меня самой интересной была бы реализация для SSH, чтобы балансировщик смог по логину клиента определить куда перенаправить его подключение и перенаправил бы, а авторизация чтобы проходила уже внутри проксированного канала.
В реализации с ForceCommand плохо то, что конечный сервер должен доверять ключу авторизации шлюза. Т.е. фактически авторизацию проводит шлюз, а дальше уже своим доверенным ключем подключается к конечному серверу с именем правильного пользователя. Хотелось бы избежать хранения доверенных ключей на шлюзе.

> --
> Вы получили это сообщение, поскольку подписаны на группу "Erlang по-русски".
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес erlang-russia...@googlegroups.com.

> Чтобы отправлять сообщения в эту группу, отправьте письмо на электронный адрес erlang-...@googlegroups.com.
> Чтобы настроить другие параметры, перейдите по ссылке https://groups.google.com/d/optout.

[Andy]

Здравствуйте!

Не касаемо пока первой части (не готов, дух захватывает) отвечу по второй: ЕМНИП, sshd поддерживает PAM и агента. Агент работает через сокет, эрго может быть удаленным (на нужном сервере). PAM имеет возможность авторизации в т.ч. через Радиус, который Вы опять же можете разместить где хотите. И не надо ключи на прокси хранить. Профит.
В качестве минуса отмечу, что я так и не смог пока передать авторизацию из Pageant->Putty->sshd->sudo, хотя похожая на вашу авторизация sudo через удаленный sshd работала (это получилось случайно, но может именно это Вам и надо).

суббота, 8 ноября 2014 г., 6:32:19 UTC+2 пользователь Timofey Koolin написал:

[Анастасия Субботина]

Да, надо сокращать латентность, и теми способами которые перечислены. Но латентность это не все, есть еще торговый алгоритм, который никто не отменял. Проект just for fun.

пятница, 7 ноября 2014 г., 14:48:22 UTC+4 пользователь Andy написал:

Приветствую всех!

[Daniil Churikov]

Велика вероятность что при поиске новой работы вас возьмут на похожий проект из-за релевантного опыта.
Попробуйте продумать какие инструменты вас не устраивали в текущей работе? Почините их или напишите
новые. Необязательно хвастаться кучей успешных проектов, можно показать куда и что ты контрибьютил.

[Andy]

Спасибо за отклик.

Ну, на похожие проекты (а делал я серверную часть GPS-трекинга, а вернее ее часть) не вижу предложений. Те, что я видел, были на других языках. Даже на Linkedin теги соответствующие указал - никому не интересно.
Насчет инструментов; я пользовался:

• Эрлангом - не хватало фреймов; теперь есть
  
• Ребаром - устраивает в целом
• MySQL - в целом устраивает; были проблемы с обновлением версии при незафиксированных зависимостях: полетели блобы. Ну, тут сами виноваты были, надо было правильно хранить их с учетом UTF8
• Jiffy - устраивает
• RabbitMQ - устраивает
• Ковбой - там идет (шла) интенсивная работа; я использовал Ковбоя еще до отделения Ранча
  
• Релизами, создаваемыми Ребаром - вполне съедобно
• Rsync для деплоя - есть много других инструментов на любой вкус
  

Если б я имел точку приложения, куда к контрибутить - уже б сделал, не спрашивая здесь. Но брать большую и ответственную часть я не готов, а про малую и менее ответственную я и прошу идей.

суббота, 8 ноября 2014 г., 10:29:54 UTC+2 пользователь Daniil Churikov написал:

[Andy]

Перечитал сам себя на свежую голову и сам себя поправляю. Предложенное мной имеет смысл при свободных средствах, исчислимых числами с 5-6ю нолями, самописный (или покупной) робот может иметь смысл начиная от 4х нолей. Но у меня и столько нету, поэтому я сюда и не гляжу (делать для себя).

пятница, 7 ноября 2014 г., 21:30:01 UTC+2 пользователь Andy написал:

[Timofey Koolin]

Да, забыл упомянуть - для клиента это всё должно выглядеть просто как подключение по ssh/ftp и т.д. - т.е. никакой доп. настройки на стороне клиента относительно прямого подключения, а для агента нужна настройка на стороне клиента. Про PAM почитал - это вроде только для логин/пароля, авторизация по ключу тут не пройдет.

Поясню - прокси нужен на шлюзе к серверам хостинга для большого количества клиентов разной степени продвинутости (начиная от 0). Части из них и по обычному паролю соединиться сложно, что уж там про настройку авторизации через агента + не уверен что во всех программах вообще реализована поддержка агента (какие-то файловые менеджеры например, а не putty).

В той схеме которая есть сейчас все программы работают, никаких доп. настроек не требуют, проблемы только две:
1. Отслеживать изменения доверенных ключей авторизации на конечном сервере и прописывать их в доверенные локальному пользователю шлюза
2. На шлюзе хранятся ключи для подключения ко всем конечным пользователям.

Обе проблемы решаемые, и в текущем варианте, но может вылезти что-то еще т.к. это всё же далеко не прямое соединение. В идеале - определить пользователя, инициировать сессию и затем просто перекладывать байтики из одного подключения в другое, не разбираясь в логике и гарантировано не выполняя никаких команд на шлюзе.

[Сахнов Михаил]

Haproxy

08 нояб. 2014 г. 13:40 пользователь "Timofey Koolin" <tim...@koolin.ru> написал:

[Andy]

Да, агент - это клиентская сторона; свалил всё в одну кучу. По серверной части есть libpam-sshauth ("apt get install" in Ubuntu) - это аутентификация посредством удаленного sshd. Может, решит Ваши проблемы? С ключами работает - я проверял

суббота, 8 ноября 2014 г., 11:40:58 UTC+2 пользователь Timofey Koolin написал:

[Timofey Koolin]

Haproxy опять же не умеет распределять ssh в зависимости от логина - он может балансировать их как обычные tcp-соединения, а это не годится.
Т.е. для каждого логина свой сервер и чужой сервер авторизации просто не примет.

[Aleksey Kluchnikov]

Моя хотелка
Нужен реестр, точно такой же как gproc, но кластерный и мастерлесс.
Чтобы поднять его на 10 узлах и регистрировать процессы, не заботясь о
том кто мастер.
Может использовать riak как бекенд? Как у риака дела с транзакциями?
чтобы не зарегать один и тот же процесс дважды на разных узлах.

[Andy]

Тоже думал об этом, и тоже про Риак. Лучше б допилили глобальную регистрацию на предмет производительности. Надеюсь, этим занимаются, тогда вопросы регистрации процессов в кластере отпадут (в смысле написания велосипедов). Других требований, для которых мне бы понадобился gproc, к распределенным системам у меня не возникало, вроде.

Насчет транзакций у Риака: ACID он не дает, ибо заточен как раз на работу в неустойчивой инфраструктуре, с разделением кластера на сегменты. Я думаю, для регистрации процессов в устойчивом участке сети он избыточен. Для распределения нагрузки по узлам кластера (балансировщик) - это да. Да поправят меня более опытные коллеги.

понедельник, 10 ноября 2014 г., 10:03:36 UTC+2 пользователь Aleksey Kluchnikov написал:

[Aleksey Kishkin]

zookeeper вам в помощь

Alexey Kishkin

10 ноября 2014 г., 11:03 пользователь Aleksey Kluchnikov <kluchn...@gmail.com> написал:

[Sergey Prokhorov]

Как насчет SMTP сервера и/или клиента?

Есть gen_smtp, но к нему есть много претензий по качеству кода. И он не развивается.

пятница, 7 ноября 2014 г., 13:48:22 UTC+3 пользователь Andy написал:

[Andy]

Здравствуйте!

Идея интересная, можно реализовать скелет и по частям допилить. Даже, наверное, кому-то понадобится. Но не уверен, что смогу обеспечить долговременную поддержку. Достаточно ли почитать HOWTO по sendmail/postfix для понимания моментов, не лежащих на поверхности? То есть, протоколы обмена, формат хранения - это мне примерно понятно; вопрос в алгоритмах обработки, таймаутах и т.д.

понедельник, 10 ноября 2014 г., 11:32:22 UTC+2 пользователь Sergey Prokhorov написал:

[Ilya I. Ashchepkov]

Иногда хочется видеть библиотеку

http://en.wikipedia.org/wiki/Simple_Authentication_and_Security_Layer

Как серверную так и клиентскую часть.

--
Вы получили это сообщение, поскольку подписаны на группу "Erlang по-русски".
Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес erlang-russia...@googlegroups.com.

Чтобы отправлять сообщения в эту группу, отправьте письмо на электронный адрес erlang-...@googlegroups.com.
Чтобы настроить другие параметры, перейдите по ссылке https://groups.google.com/d/optout.

--

С уважением,
Ащепков Илья koc...@gmail.com

[Aleksey Kluchnikov]

Посмотрел, судя по описанию круть! Но ява.. для меня не стоит оно
того, не пойдет

10 ноября 2014 г., 11:55 пользователь Aleksey Kishkin
<aleksey...@gmail.com> написал:

[Andy]

Посмотрите etcd - на Go.

понедельник, 10 ноября 2014 г., 13:22:56 UTC+2 пользователь Aleksey Kluchnikov написал:

[Ivan Glushkov]

Недавно залазил в tsung (load test app на эрланге) - там страх и ужас. Набеговое програмирование + _уже_ куча неработающих функций + нет интерфейсов между разными частями системы.

Было бы здорово, если бы кто-то взялся и переделал все по-нормальному.

[Kirill Zaborsky]

+1 цунг производит довольно странное впечатление, хотя вроде и эрланг там вполне по делу и вещь небесполезная.

Еслиб кто-то взялся толком яб тоже, наверное поконтрибутил.

С уважением,

Кирилл Заборский.

10 ноября 2014 г., 16:15 пользователь Ivan Glushkov <ivan.g...@gmail.com> написал:

[Andy]

В общем поприветствуйте идею добавить maps в jiffy_v. Надо ли это кому-нибудь? Или есть еще валидаторы json кроме jesse и jiffy_v?

[Boris Timokhin]

jsonx (https://github.com/iskra/jsonx) ?

10 ноября 2014 г., 23:03 пользователь Andy <agre...@gmail.com> написал:

В общем поприветствуйте идею добавить maps в jiffy_v. Надо ли это кому-нибудь? Или есть еще валидаторы json кроме jesse и jiffy_v?

--

[Andy]

Тоже без мапов, вроде. К тому же, я упустил: он уже не валит ноду?

понедельник, 10 ноября 2014 г., 21:07:01 UTC+2 пользователь Boris Timokhin написал:

[Sergey Prokhorov]

Так то можно и не новый проект делать, а gen_smtp попатчить как следует. Есть, кстати, вариант перенести его сетевую часть на ranch.

По протоколу - есть RFC. Форматы хранения - на ваше усмотрение (в gen_smtp более низкоуровневый интерфейс, работы с очередями там нет).

понедельник, 10 ноября 2014 г., 13:35:30 UTC+3 пользователь Andy написал:

[Ilya I. Ashchepkov]

https://github.com/talentdeficit/jsx

и для работы с мапами
https://github.com/talentdeficit/jsxn

2014-11-11 1:03 GMT+06:00 Andy <agre...@gmail.com>:

В общем поприветствуйте идею добавить maps в jiffy_v. Надо ли это кому-нибудь? Или есть еще валидаторы json кроме jesse и jiffy_v?

--

Вы получили это сообщение, поскольку подписаны на группу "Erlang по-русски".
Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес erlang-russia...@googlegroups.com.
Чтобы отправлять сообщения в эту группу, отправьте письмо на электронный адрес erlang-...@googlegroups.com.
Чтобы настроить другие параметры, перейдите по ссылке https://groups.google.com/d/optout.

[Andy]

Так оно же вроде без валидации? И как у них ныне со скоростью - свежие бенчмарки есть?

вторник, 11 ноября 2014 г., 3:13:02 UTC+2 пользователь Ilya Ashchepkov написал:

[Andy]

Понял, подумаю. То есть, не полноценный сервер типа Postfix, а библиотека.

вторник, 11 ноября 2014 г., 1:00:16 UTC+2 пользователь Sergey Prokhorov написал:

[Aleksey Kluchnikov]

Еще бы сам jiffy научить работать с proplists, тоже полезно было бы.
https://github.com/davisp/jiffy/issues/52

11 ноября 2014 г., 7:55 пользователь Andy <agre...@gmail.com> написал: