Выборы в парламент и машинное предсказание

[alexey medvetsky]

Всем привет!

Как известно, у нас 11 сентября завершатся выборы в нижнюю палату
парламента. Это значит, что примерно за месяц до этого станут известны
имена зарегистрированных кандидатов. Кроме ФИО кандадита, также скорее
всего будут известны:

- Место работы
- Место жительства
- Год рождения
- Избирательный округ
- Партийная принадлежность

Вот пример данных, которые публиковал ЦК 4 года назад -
http://www.rec.gov.by/sites/default/files/pdf/Elections-PPNS5-Sved16.pdf. Еще
можно самостоятельно добавить другие переменные (пол, тутэйшасть,
депутатский опыт в прошлом и т.д.)

Если кому-то интересно потренироваться с предсказательными алгоритмами и
попробовать угадать новый состав парламента за месяц до итоговой
пресс-конференции Ермошиной, то дайте знать.

Всего в парламент должны пройти 110 человек, а недавно Лукашенко сказал,
что действующий состав сохранится примерно на 25%.


Алексей.

[Pavel Tyslacki]

А ці ёсьць інфа хто прайшоў, а хто не 4-ы гады назад?

--
Вы получили это сообщение, поскольку подписаны на группу opendata-belarus.

Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес opendata-belar...@googlegroups.com.
Настройки подписки и доставки писем: https://groups.google.com/d/optout.

[alexey medvetsky]

Да, конечно :). Это ж наши с тобой депутаты.

Чтобы настроить другие параметры, перейдите по ссылке https://groups.google.com/d/optout.

[alexey medvetsky]

Короче, уже есть данные по 4-м кампаниям с кандидатами и данными об их проходимости в парламент. В августе будут данные по пятой кампании. Останется за месяц настроить модель и опередить ЦК. :)

On 05/02/2016 01:46 PM, Pavel Tyslacki wrote:

[alexey medvetsky]

https://github.com/opendataby/elect_machine

On 05/02/2016 01:46 PM, Pavel Tyslacki wrote:

[Alina Radachynskaja]

А ці ты не пераганяў гэта ў машыначытальны выгляд?

--

Натхнення!
Аліна Радачынская
-----------------------------
Кантакты
+ 375 44 555 22 06
skype: sumerka__
para...@gmail.com

[alexey medvetsky]

Отчасти да, нужно посмотреть архив.

[Yahor Malshewski]

Я попробую за ближайшую неделю перегнать это всё счастье из пдф-ок в машиночитаемый вариант, а там можно будет попробовать поиграться с выборками.

Skype: yahor_malshewski
Jabber: che...@gmail.com
Phone: +375 29 7034440

[alexey medvetsky]

Однако, 2012 год у нас уже есть:

- список депутатов, https://opendata.by/blog/752
- список зарегистрированных кандидатов, https://opendata.by/blog/770 (похоже, это последние данные, но я еще проверю)

[alexey medvetsky]

Я там загрузил данные за 2000 и 2004. Давайте обсудим в каком виде это нужно для работы, какая структура набора и т.д. А потом добавим остальное, чтобы не пришлось переделывать.

On 05/02/2016 09:59 PM, Yahor Malshewski wrote:

[Yahor Malshewski]

Ну мы тут поразмыслили и накидали примерно такой вариант:

ФИО
Кандидат/депутат
Год выборов
Год рождения
Профессия (основное)
Вторая профессия
Третья профессия
м/ж
Населённый пункт
Должность
Партийный/беспартийный
Партия
Сфера в которой работает
Должность (текстовое поле)
Динамическое поле - возраст на момент выборов.

Я сейчас потихоньку, когда есть время, переношу в отдельный друпал-сайт депутатов (кандидатов слишком много). А потом когда всё это будет лежать в БД, можно будет их выгружать в любом машиночитаемом формате и дальше работать уже с выборками. В идеале хочу сделать возможность открытых фильтров для того чтобы формировать запросы по результату которых выгружать цсв-шки те же самые.

[alexey medvetsky]

Ок.
А что за сайт? Тут еще говорят про такое https://www.facebook.com/deputatbelarus

[Yahor Malshewski]

Да пока это просто на локальной машине. Отпишусь как будут результаты.

[Alina Radachynskaja]

а суполка ў фб смешная. цікава, хто яе робіць

[Yahor Malshewski]

Оставлю эту штуку тут http://www.rec.gov.by/sites/default/files/pdf/Elections-PPNS5-Itogi.pdf

[Gleb]

Алексей,

а насколько сложен процесс распознавания ПДФ с кандидатами за 2000, 2004, 2008 год, например? или проще вручную сформировать табличку?

Глеб

[alexey medvetsky]

Сейчас, как минимум, преобразованы данные по кандидатам 2000 и 2004 годов и по депутатам 2000 года. Это здесь https://github.com/opendataby/elect_machine. Как я понимаю, Егор параллельно делает систему с данными большего объема (или как?).

Распознать не проблема, просто надо будет синхронизироваться по обработке данных, чтобы не делать двойную работу. Если что, я могу закончить с распознаванием.

[Gleb]

Мы с Егором вручную вбиваем данные (пока сделаны депутаты 2004 и 2000) в едином формате для всех годов, чтобы их можно было сравнивать и сортировать. Если будут ЦСВ по остальным годам, то можно будет их попробовать импортировать и работать с уже сравнимыми массивами данных.

а тут смотреть документ train.csv?

https://github.com/opendataby/elect_machine/blob/master/train.csv

[Gleb]

Кстати, по 2000 и 2004 годам уже готовы машиночитаемые цсв наборы, сейчас согласуем формат только

[alexey medvetsky]

Да, train.csv, но я его еще перепроверю, там встречались разные написания одних имен.

Можем тогда поделить 2008 и 2012. Я готов взять 2008.

[Gleb]

А, только сейчас заметил, что в train.csv тоже за 2000 и 2004 год как раз данные уже готовы :) 

[Gleb]

Хорошо, мы начинаем 2012

[Yahor Malshewski]

Похоже за 2008 год нету у депутатов профессии. Самое лучшее что для депутатов нашёл в одном месте http://www.rec.gov.by/sites/default/files/pdf/Elections-PPNS-Spis.pdf

Но професии нету :(

[Yahor Malshewski]

Ага, вот тут есть инфа. Но это надо ручками выдирать http://house.gov.by/index.php/,4908,,,,0,,,0.html

[alexey medvetsky]

Профессии можно брать из списка кандидатов.

[Yahor Malshewski]

За 2008 год - нет. Там только "Должность (занятие), место работы (учебы)"

[alexey medvetsky]

Ага, тогда они, получается, перестали указывать профессии кандидатов с 2008 года. Т.е. профессии есть только для двух кампаний. И в 2016 тоже вряд ли укажут.

[Yahor Malshewski]

Профессия с http://house.gov.by/index.php/,5526,,,,0,,,0.html выдирается

[alexey medvetsky]

Да, но для кандидатов же не указана. Это я про машину предсказаний думаю - там первичны данные по кандидатам, а депутатов надо угадывать. :)

В принципе, можно сделать отдельный список профессий, с которыми проходят в парламент, и с ним работать.

Хорошо, мы начинаем 2012

https://github.com/opendataby/elect_machine/blob/master/train.csv

Распознать не проблема, просто надо будет синхронизироват ься по обработке данных, чтобы не делать двойную работу. Если что, я могу закончить с распознаванием.

[alexey medvetsky]

Кстати, нашел у себя список депутатов второго созыва с подробной инфой, данные с сайта Нижней палаты. Может, пригодится.

On 06/02/2016 06:39 PM, Yahor Malshewski wrote:

[Yahor Malshewski]

Нашёл прикол. Не сходится у нас количество депутатов за 2000 год и то сколько их должно быть.

108 у нас и всё.

Не мог понять как такое возможно.

В итоге залез на сайт Палатки. Пересчитал их там http://house.gov.by/index.php/,120,,,,0,,,0.html

БИНГО! Их там 108.

Хотя вроде бы должно быть 110. http://web.archive.org/web/20100810190225/http://belaruselections.info/archive/2000/chronicle/0030943/

Кто эти таинственные 2 человека - загадка :)

[alexey medvetsky]

Опубликован календарь избирательной кампании - http://rec.gov.by/sites/default/files/pdf/Elections-PPNS6-kalend.pdf

Данные о зарегистрированных кандидатах будут к середине августа.

[alexey medvetsky]

Вуаля, официальная карта избирательных округов в формате SVG - http://vybory2016.by.
А вот словарь разметки - http://vybory2016.by/js/paths.js

[Gleb]

Хочу уточнить - https://github.com/opendataby/elect_machine/blob/master/train.csv - у нас пока нет нигде машиночитаемого списка кандидатов 2008 и 2012, тут только за 2000 и 2004?

[alexey medvetsky]

Обновил train https://github.com/ushchent/el_machina. Там все кампании с 2000 года.

Вижу, что тепер уже два репозитория. :( А как в гитхабе синхронизировать основной репозиторий и его форк? И можно ли это делать автоматически?

[Gleb]

Спасибо, попробуем сейчас всё отформатировать в одном виде

Я собираюсь залить все данные в один репозиторий как только закончим с разбитием на релевантные колонки типа профессии

...

[Yahor Malshewski]

Возник вопрос: кто может помочь с математическим аппаратом для разработки формулы вычисления этой самой вероятности прохождения кандидата?
 

Характеристики нормализованные будут следующие:
Год рождения (думаю неинтересен), Возраст, Город, Партийный/беспартийный, Партия, Пол, Профессия.

Ну или подскажите кто знает, где можно подсмотреть/почитать.

[alexey medvetsky]

Я бы еще добавил "является действующим депутатом парламента / не является". Потому что в последние годы наличие у кандидата депутатского мандата фактически означает 100% проходимость в новый состав.

[Pavel Tyslacki]

Ці простая карэляцыя, ці http://scikit-learn.org/stable/index.html

Можна спасылку на дадзеныя csv якія былі і будуць, запытаю можа каму цікава будзе.

[Yahor Malshewski]

Ну пока это вот так. Там сейчас все депутаты + кандидаты за 2000 год.

Плюс ещё не нормализованы полностью все поля. Это будем делать когда загрузим всех кандидатов до конца.

[alexey medvetsky]

Как минимум, есть такой набор - https://github.com/ushchent/el_machina/blob/master/train.csv. Здесь все кандидаты и сведения о (не)прохождении.

Еще будет объединенный набор.

[Yahor Malshewski]

<<"является действующим депутатом парламента / не является".>> - Было бы хорошо, но не очень представляю как это технически сделать. Только ручками добавлять, я так понимаю.

[alexey medvetsky]

А в этом наборе уже добавлено https://github.com/ushchent/el_machina/blob/master/train.csv. Данные о депутатстве извлечены из сведений о кандидате.

Наверное, дело у в том, что мы пошли с разных концов. Я начал собирать данные по кандидатам, а вы в Глебом - по депутатам. Надо подумать как свести эти концы вместе, тем более что по депутатам публикуются гораздо более подробные сведения, чем по кандидатам (которых почти сразу забывают после кампании).

[Yahor Malshewski]

В аттаче список всех профессий доступных для кандидатов/депутатов.

Т.к. их очень много - нужно их сливать как-то. Но это не очень очевидно во многих случаях. Например можно ли сливать "экономист-менеджер" "менеджер-экономист" или нельзя.

Возможно нужно всех "менеджер ...." слить. И отдельно слить всех "экономист-бухгалтер", "экономист-международник" в просто "экономистов".

Т.е. вопрос в том на каком принципе формировать финальный список. Это должны быть просто направления человеческой деятельности, или как.

Кто что думает?

[Gleb]

думаю, нужно разбивать профессию на элементы.

 "экономист-менеджер" "менеджер-экономист" - это одновременно и

"менеджер" и

"экономист"

и

 "экономист-менеджер" и

"менеджер-экономист" 

т.е. я бы для кандидата Х прописал бы все эти значения, и потом наиболее точно система нам покажет, кого было  в общем списке больше - менеджеров или экономистов :)

[alexey medvetsky]

Если честно, то я сомневаюсь, что профессия влияет на избрание кандидата депутатом. Т.е. для предсказания это вряд ли важный фактор.

С другой стороны, данные нормализовать нужно - просто для порядка. Если их действительно так много получается, то может быть сделаем поле "сфера деятельности", и туда их сольем. Например, экономист, менеджер и директор магазина уйдут в одну категорию "Торговля" или "Промышленность" (в зависимости от предприятия). Еще можно выделить категории "Образование", "Наука", "Государство" ... Штук 10-15, думаю, хватит.

Как-то так. К сожалению, раньше субботы я этим плотно заняться не смогу.

[Yahor Malshewski]

Ага, с подходом таким согласен. Если успею сегодня - сделаю тогда ещё одно поле "сфера деятельности" и скопирую туда значения и связи с персонажами. Тогда можно будет с ним работать, и в поле "профессия" у нас останется материал нетронутый в том виде как мы его взяли в первоисточниках

[alexey medvetsky]

БелТА запустила тест для кандидатов, http://www.belta.by/society/view/smozhete-li-vy-stat-kandidatom-v-deputaty-projdite-test-belta-200888-2016/. Сделано не без юмора на платформе PlayBuzz.

Я от балды набрал 7 из 7, но там явно не хватает вопроса о том, сколько времени хранятся бюллетени и какой срок давности за фальсификацию результатов. :)

Вообще, тесты на разные темы - интересная штука, давно про это думаю. Может, кто знает какой-нибудь специальный фреймворк для быстрого создания тестов? Я имею в виду, не на чужом хостинге, а чтобы у себя разместить и создавать тесты.

[Gleb]

фрэймворк для создания тестов - в друпале такое можно делать, есть инструментарий, вот демо:

https://youtu.be/l2t9XRXdB70?t=2020

https://youtu.be/stdPesWE2Dk?t=140

можем по быстрому сделать страницу для таких квизов экспериментов прямо завтра, думаю

[Yahor Malshewski]

http://www.belta.by/politics/view/vybory-2016-izbirkomy-zaregistrirovali-446-initsiativnyh-grupp-po-vsej-belarusi-201387-2016

--

Вы получили это сообщение, поскольку подписаны на группу "opendata-belarus".
Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес opendata-belar...@googlegroups.com.
Чтобы настроить другие параметры, перейдите по ссылке https://groups.google.com/d/optout.

[alexey medvetsky]

Прогноз от НН, http://nn.by/?c=ar&i=173508. Правда, на основе выдвиженцев.

У нас задача-максимум сделать модель, которая будет принимать список кандидатов и выдавать список наиболее вероятных депутатов.

[alexey medvetsky]

Еще по теме - избирательный тотализатор от движения "За свободу", http://naviny.by/rubrics/elections/2016/07/21/ic_news_623_478513/

[Gleb]

Егор подкинул инструкцию по машинному предсказанию на питоне в домашних условиях - 

https://medium.com/learning-new-stuff/would-you-survive-the-titanic-a-guide-to-machine-learning-in-python-f80c9d7b7582#.5ocxko4ia

там пример пассажирова титаника интересный

[alexey medvetsky]

И еще по методике угадывания депутата - выкладки от БП, http://www.belaruspartisan.org/politic/351860/

Полный список кандидатов должен вот-вот появиться.

[alexey medvetsky]

А вот и списки кандидатов по регионам - http://rec.gov.by/ru/Elections-PPNS6-Vidv_kan

[alexey medvetsky]

И тотализатор "За свабоду" - http://2016.pyx.by/

[alexey medvetsky]

В файл train.csv добавлены 518 (это 520 минус уже 2 самоотвода по
Минску) кандидатов этого года, https://github.com/ushchent/el_machina

Особенность избирательной кампании в том, что кто-то из кандидатов может
сойти с дистанции. Предсказать это сложно, нужно просто иметь в виду и
периодически смотреть эталонный список кандидатов в ЦК.

Какие могут быть ориентиры для предсказания:

1. Если кандидат является действующим депутатом, то он скорее всего
проходит в новый парламент
2. В парламенте действует неформальная квота на около 30% женщин (нужно
посмотреть по составам), ее можно учитывать
3. Если кандидат участвовал во Всебелорусском народном собрании, то он
имеет большие шансы попасть в парламент перед кандидатом, который не
участвовал (это тоже надо проверять, данные есть, но не все)
4. Кандидат от выраженно оппозиционной партии скорее всего не пройдет
5. Временно или длительный срок не работающий кандидат скорее всего не
пройдет
6. Кандидат, который не собирал подписи граждан, скорее всего не пройдет
7. что-то еще...


Алексей.

[alexey medvetsky]

Прогноз Тут.бай, но только по Минску и без явной методологии -
http://news.tut.by/politics/508200.html

[alexey medvetsky]

И обновленные выкладки "Нашей Нiвы" по всем кандидатам -
http://nn.by/?c=ar&i=175300

[alexey medvetsky]

Проблема с самоотводом кандидатов оказывается не такой простой. За 12
дней после завершения регистрации уже снялся 21 кандидат и дополнительно
зарегистрированы 4 кандидата -
http://www.belaruspartisan.org/politic/353042/

Это значит, что список кандидатов, постоянно меняется, причем этот
процесс размазан во времени и непредсказуем. Т.е. нельзя сказать,
сколько еще человек снимется завтра, например. Но зато регистрировать
новых кандидатов уже вряд ли будут.

Короче, есть смысл сделать предварительный прогноз, постараюсь этим
заняться на выходных, когда станет ясно, кто еще снялся за эту неделю.

[alexey medvetsky]

Пока дело движется вот так - http://ushchent.github.io/el_machina/

Предсказательных факторов кот наплакал, поэтому можно предсказывать
почти вручную, т.е. на джаваскрипте. :)

[alexey medvetsky]

Еще один прогноз по итогам выборов, правда очень конспирологический (как
и сам автор :):

"Предложен вариант, согласно которому численность оппозиционеров в
новом созыве парламента будет 10%, то есть 11 депутатов. Расчёт на то,
что появление в парламенте 11 оппозиционных депутатов не будет одобрено
наверху ни в каком случае. А вот на человек 5-6 согласие можно получить,
если красиво нарисовать бонусы от этого шага."

http://inosmi.by/2016/09/08/vybory-kak-oshibka/

Проблема в том, что такие прогнозы о "согласованных списких
оппозиционеров" появляются уже третью подряд кампанию и держат людей в
напряге до последней минуты. С такой конспирологией ничего не поделаешь,
нужно просто подождать 12 сентября.

[Anatoli Babenia]

А где датасет по кандидатам?

[alexey medvetsky]

Короче, все еще интереснее: на вчерашний вечер снялся 41 кандидат, а
последний актуальный список кандидатов ЦК опубликует завтра.

Предсказания идут тут - https://opendata.by/blog/1101


On 09/09/2016 01:17 PM, Anatoli Babenia wrote:
> А где датасет по кандидатам?
>

[Anatoli Babenia]

Ну ладно, а есть список вообще всех, кто собирался? А то кто по каким причинам выбыл - это дело десятое.

On Sep 10, 2016 3:51 PM, wrote:

Почему не 42? Хотя я знаю ответ.

--
Вы получили это сообщение, так как подписаны на группу "opendata-belarus".
Чтобы отменить подписку на эту тему, перейдите по ссылке https://groups.google.com/d/topic/opendata-belarus/Dah2yNTlsuo/unsubscribe.
Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо на электронный адрес opendata-belarus+unsubscribe@googlegroups.com.

[Anatoli Babenia]

Почему не 42? Хотя я знаю ответ.

--

Вы получили это сообщение, так как подписаны на группу "opendata-belarus".
Чтобы отменить подписку на эту тему, перейдите по ссылке https://groups.google.com/d/topic/opendata-belarus/Dah2yNTlsuo/unsubscribe.

Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо на электронный адрес opendata-belarus+unsubscribe@googlegroups.com.

[alexey medvetsky]

Мой список, https://github.com/ushchent/el_machina/blob/master/test.csv

Список "НН", http://nn.by/?c=ar&i=175300

На днях узнаем, кто и насколько оказался прав.

[Anatoli Babenia]

У тебя только те, за кого вообще голосовали, а полный есть с выбывшими?

Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес opendata-belarus+unsubscribe@googlegroups.com.

Чтобы настроить другие параметры, перейдите по ссылке https://groups.google.com/d/optout.

--
Вы получили это сообщение, поскольку подписаны на одну из тем в группе "opendata-belarus".

Чтобы отменить подписку на эту тему, перейдите по ссылке https://groups.google.com/d/topic/opendata-belarus/Dah2yNTlsuo/unsubscribe.
Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо на электронный адрес opendata-belarus+unsubscribe@googlegroups.com.

Чтобы настроить другие параметры, перейдите по ссылке https://groups.google.com/d/optout.

--

Anatoli Babenia

+1 (650) 605-3365
+375 (29) 320-4241

[alexey medvetsky]

Описание и данные были тут https://opendata.by/blog/1101.

У меня получилось 90% попадание, у НН - 96%.

Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес opendata-belar...@googlegroups.com.

[Anatoli Babenia]

Не хватает ссылок с http://elmachina.opendata.by/ на доп. инфомацию - на в частности интересно узнать кто делал, что за алгоритм использовался. Есть какое-то упоминание фото, но самого фото не видно. Самое главное - непонято, как пробовать-то свои силы. Нет ни ссылки куда свои прогнозы отсылать, ни затравки на пример для интереса.

[Anatoli Babenia]

2016-09-12 10:29 GMT+03:00 alexey medvetsky <a.med...@gmail.com>:

У меня получилось 90% попадание, у НН - 96%.

=) А было из чего угадывать? Может там по одной кандидатуре на округ было.

[alexey medvetsky]

Ну знаешь, ты бы еще через неделю спохватился. :) Ветка с мая месяца работает.

Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес opendata-belar...@googlegroups.com.

[Anatoli Babenia]

А я такой, да. =)

[Yahor Malshewski]

А есть ли у нас 2 списка?
1)список кандидатов на день выборов.  Учитывая всех кто снялся.
2)Список депутатов.

Я хочу загнать в http://elmachina.opendata.by/ данные плюс добавить там данные по тому кто как выдвигался за эти выборы и поиграться с результатами.

[alexey medvetsky]

Список в приложении.

В поле status "2" означает, что кандидат снялся. Правда, там только 40 снявшихся, а в ЦК говорили про 41.

Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес opendata-belar...@googlegroups.com.

[Yahor Malshewski]

Вгрузил кандидатов за 2016 год на http://elmachina.opendata.by

Депутатами займусь попозже

[Yahor Malshewski]

http://elmachina.opendata.by Добавил депутатов за 2016 год

[alexey medvetsky]

Здорово!

А можно ли на будущее добавить средний и медианный возраст по выборке? Там, где раздел "Отфильтровать по возраст:"

Например, я выбрал всех партийных депутатов этого созыва, http://elmachina.opendata.by/personazhy?f[0]=field_personazh_god_vyborov%3A1601&f[1]=field_kand_dep%3A2&f[2]=field_personazh_partiynyi_or_not%3A11, сразу вижу какие там партии и населенные пункты представлены, а средний возраст приходится самому высчитывать.

У нас среди журналистов и аналитиков есть небольшой спрос на такие цифры, например вот http://nmnby.eu/news/analytics/6165.html

Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес opendata-belar...@googlegroups.com.

[Yahor Malshewski]

Можно попробовать. Мат. аппарат не подкинет кто-нибудь касательно медианного? Средний то просто - сложили и разделили.

29 сен 2016 г. 8:48 пользователь "alexey medvetsky" <a.med...@gmail.com> написал:

[alexey medvetsky]

Медиана - это середина списка (если четное количество элементов) или среднее двух значений посередине (если нечетное количество элементов).

[1, 2, 3, 4, 5] - медиана будет 3

[1, 2, 3, 4, 5, 6] - медиана 3.5

А это пхп считает или js? Потому что в D3.js есть встроенные функции для простого анализа данных, те же mean() и median().

Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес opendata-belar...@googlegroups.com.

[alexey medvetsky]

А, попутал четное с нечетным. :(

[alexey medvetsky]

Да, а если еще при возможности добавить поиск по ФИО, то будет совсем круто.

On 09/29/2016 08:51 AM, Yahor Malshewski wrote:

Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес opendata-belar...@googlegroups.com.

[Yahor Malshewski]

Добавил поиск по ФИО

[Yahor Malshewski]

Перегнал отчёт по минску со страницы http://www.rec.gov.by/ru/Elections-PPNS6-Gol из пдф-а в эксель.

[alexey medvetsky]

Тут Алина передает со слов Егора, что Эльмахина хорошо проиндексировалась и рулит в выдаче по ФИО многих депутатов/ кандидатов.

Одновременно, новый сайт нижней палаты (house.gov.by) находится в тестовой версии и пока показывает только 2 последних созыва депутатов. Значит, у Эльмахины есть хороший шанс стать альтернативным источником данных и аналитики по нашим политическим кампаниям.

Думаю, есть смысл эту тему штурмануть: какой функционал и данные нужны на сайте и как это все хозяйство дальше поддерживать. Потому что следующие выборы только в 2018 году (местные), а новый парламент у нас стартовал очень активно, эти люди уже по телевизору вовсю гутарят и строят планы.

Дальше предложения в порядке обсуждения (Егор, дай знать, что из этого реально и как можно сделать):

- сделать на странице персонажа (депутата) выдачу его земляков (для депутатов указано место рождения) и однопартийцев

- выводить на странице депутата разнообразнуь статистику по его избирательному округу (рождаемость, браки/разводы, экономический рост, преступность) и т.д. Пускай они сами у нас смотрят, что у них в округе творится. :)

- ...

Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес opendata-belar...@googlegroups.com.

[Yahor Malshewski]

Ой я только За! Тут единственный момент, как ты понимаешь. В наличии этой информации в формате который нам позволил бы автоматически вгрузить (и обновлять в будущем эту инфу). Можно, наверное что-то и ручками вгрузить, в принципе. Но это надо смотреть.

Ну а как на самом сайте прикрутить к депутатам - придумается. Была бы инфа :)

[Igor Kandyba]

Еще бы туда добавить "Обещания" и подбирать новости и прогресс по исполнению депутатом своих обещаний, типа сделать такой трэкер :)

Igor

Contacts:
+375298640071 (BY)

http://twitter.com/igor_kandyba

[alexey medvetsky]

По обещаниям будет реально сложно поддерживать, там же 110 депутатов. Была попытка у ОГП (http://naviny.by/rubrics/opinion/2011/06/17/ic_articles_410_174038), но там все быстро затихло. Разве что можно вывести положения предвыборной программы депутата.

По данным - уже сечас можно использовать, например, набор по зарплатам из zarplaty.opendata.by. Только там данные по районам, так что надо как-то сопоставить избирательные округа и районы. Например, данные загрузить на портал и подгружать через API (заодно и API будет в деле)... Только на портале обновлять данные пока не очень удобно. :(

Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес opendata-belar...@googlegroups.com.

[G K]

А как сделать, чтобы было более удобно обновлять данные? :)

[alexey medvetsky]

Если я ничего не путаю, то сейчас процесс загрузки и обновления выглядит так https://groups.google.com/d/msg/opendata-belarus/Fe1vb062ZXY/wFGvnc2pBAAJ

Хотелось сократить число шагов. Может быть, гитом обновлять или еще как-то. Потому что когда ресурс один, то еще куда ни шло, а если их с десяток, то это целая отдельная задача.

[Gleb]

Загрузили датасет с кандидатами и выбранными депутатами на портал, чтобы не потерялся, теперь можно вести контроль версий.

Указываем ссылку на гитхаб как на первоначальный источник или как лучше сделать? и авторство как лучше указать

https://opendata.by/dataset/1350

[alexey medvetsky]

Еще можно дать ссылку на страницу проекта https://opendata.by/project/1100

Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес opendata-belar...@googlegroups.com.

[alexey medvetsky]

Раздел на сайте ЦК по местной избирательной кампании 2018 года http://rec.gov.by/ru/vybory-2018.

Кроме этого, прогресс не стоит на месте, и горисполком опубликовал красивую векторную карту избирательных округов в Минске https://minsk.gov.by/ru/freepage/other/minsk.okruga.2018/belkarta.html.

On 12/29/2016 03:20 PM, Gleb wrote:

Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес opendata-belar...@googlegroups.com.

[Gleb]

Ого! Карта вдохновляет, очень хороший подход, надеюсь, не последняя попытка.

Меня настолько пропёрло, что пошёл и оформил предварительный список известных нам сайтов гос органов, которые делятся данными.

Если кто-то подозревал, что в Беларуси какие-то данные публикуются госорганами, но не знал где найти (или наоборот, знал и пользовался втихую, не делясь с сообществом) - то вот на гитхабе опубликован наш предварительный список гос сайтов с данными (большинство - условно-машиночитаемые таблички, которые можно юзать, но также и кое-какими геоданными, метаданными, архивными материалами и тп). 

https://github.com/opendataby/state-data-sources

ЧТО: список 110 известных сообществу источников бесплатных данных от государственных органов Беларуси из 15 министерств/госорганов (99 машиночитаемых). 

 

ФИЧИ и баги:

- каталог будет расширяться, т.к. пока не включает ГосПогранКомитет, МинФин, НацБанк, базу тендеров icetrade, кадастровое агентство, и многие другие. 

- в идеале, будут добавлены также платные источники, чтобы понимать, сколько и почём данные у государства на сегодняшний день,

- желательно добавить также даты обновлений, и даты начала охвата (начала периода, за который доступны данные)

- умершие источники также будем отмечать (например, карты на флэше, неоткрывающиеся сайты и тп)

умершие источники можно параллельно (нужно) миррорить на archive.org + opendata.by. Нужны идеи, как лучше сделать. Из этого списка уже 98 таблиц заархивированы на opendata.by

- помощь в добавлении данных и поддержании в актуальном состоянии оч. нужна

- есть ошибки и нужна помощь в перепроверке

- темы:

Административное деление1

Внешняя торговля3

Внутренняя торговля1

Демография10

Жилищные условия3

Жилищные условия/Цены1

ЖКХ2

Заработная плата1

Защита информации1

Здравоохранение1

Инвестиции и строительство1

Культура1

Лотерии1

Макроэкономика2

Миграция2

Наука и инновации4

Образование2

Окружающая среда4

Охрана1

Перепись населения 20093

Перепись населения 20102

Перепись населения 20112

Погода2

Правонарушения6

Природа и экология32

Промышленность2

Связь и информационно-коммуникационные технологии1

Сельское хозяйство1

Социальная защита населения1

Транспорт3

Туризм1

Цены2

Экология и климат4

Экология и окружающая среда2

Экономика1

Энергетика4

[alexey medvetsky]

Кстати, по Белстату можно не архивировать хтмл-странички за отдельные годы, а выгружать данные за нужный период в разных форматах из базы http://dataportal.belstat.gov.by/Indicators. Правда, там не очень оперативное обновление. Но зато есть многие данные того же МВД и других госорганов.

Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес opendata-belar...@googlegroups.com.

[alexey medvetsky]

И насчет списка сайтов с данными - Государственный регистр информационных ресурсов Беларуси.
Здесь около 14 000 записей, есть как госорганы, так и учебные заведения и т.д., http://www.ipps.by:9087/apex/f?p=124:65:0::NO

Вдобавок к нему, список информационных систем, http://www.ipps.by:9087/apex/f?p=124:201:0::NO

On 12/09/2017 11:33 PM, Gleb wrote:

Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес opendata-belar...@googlegroups.com.

[nicko...@gmail.com]

Алексей привет,
Это

[Yahor Malshewski]

Чот накатило и я в табло закинул цсв-шку с сайта. Можно поиграться.

http://elmachina.opendata.by/tableau
https://public.tableau.com/views/Deputatykandidaty/sheet0?:embed=y&:display_count=yes&publish=yes

2017-12-30 14:48 GMT+03:00 <nicko...@gmail.com>:

Алексей привет,
Это

--
Вы получили это сообщение, поскольку подписаны на группу opendata-belarus.

Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес opendata-belarus+unsubscribe@googlegroups.com.
Настройки подписки и доставки писем: https://groups.google.com/d/optout.

--