Лента - комментарии

24 views
Skip to first unread message

ilya.lo...@gmail.com

unread,
Mar 11, 2010, 8:16:56 PM3/11/10
to Эволюционные вычисления
// Популярная статья в Нью-йорк таймс о том, что мутация случается
// намного реже, нежели считалось ранее:

подумал, может создать ветку для комментариев и мини-обсуждений,пока
для отдельного топика не созреет достаточно мыслей :-)
Недавно на лекции Wolfgang Banzhaf говорил о натуральной эволюции, я
отметил график, на котором была изображена зависимость так сказать
активной и пассивной генетической информации: процент пассивной
информации неуклонно растет от простейших видов к человеку, что
наводит на набор вопросов и предположениях о целях ее хранения. плюс
те факты, что генетически мы не так сильно отличаемся от шимпанзе и
прочих более 'простых' видов. я к тому, что процент мутации следует
вероятно считать не от всей строки, а от 'эффективной' (вопрос Какие
гены мутируют, да и мало ли это 60 для скорости эволюции человека).
добавим к тому предположение об активации/включении той или иной
генетической информации в процессе жизни (что пожалуй бьет по рукам
численному 'среднему' измерению).

что касается моего мнения, я не уверен что 'скриншоты' биологической
эволюции сегодняшнего человека представляют главный интерес (будь я
фармацевтом, сломал бы за такое руки ;), сегодня нам пожалуй пока
более интересны простейшие и поиск того моторчика роста, который
привел к человеку, а человек как большая сложная формула/модель
конечно интересен, но в целом сложен, когда мы еще слабо владеем
арифметикой.
моя вторая позицию, это то что эволюция человека сейчас это уже не
биология (забудем про адаптацию к новым болезням), а эволюция
цивилизации, и физические способности шагают куда медленнее, чем
обогащение информационного пространства и подходов к решению задач
обе позиции пожалуй не новы ;)
p.s. если взглянуть скептически, то позитивная статья в Nature и New
York Times это то, что нужно, когда вы потратили кучу бабок ;-)

yury...@gmail.com

unread,
Mar 11, 2010, 10:17:46 PM3/11/10
to Эволюционные вычисления
Да, новая ветка -- это есть хорошо :), чтобы не мешать новости и
впечатления/обсуждения в одну кучу.

Конечно, интересно, что промутировало всего 60 генов, но, на мой
взгляд, нужно больше статистики. А еще есть такая "теория
нейтральности", согласно которой большая часть мутаций -- нейтральна,
т.е грубо говоря не оказывает прямого влияния на приспособленность,
потому что попадает в "молчащие" гены, либо просто не оказывает
существенного влияния. Если следовать этой теории, то из 60
мутировавших генов реальный эффект оказала только малая часть мутаций
(выходит, ребенок должен быть очень похож на родителя? эх, жалко что в
статье фото участников эксперимента и медицинские карты нельзя было
привести :)).

Юрий

yury...@gmail.com

unread,
Mar 12, 2010, 10:35:46 AM3/12/10
to Эволюционные вычисления
По поводу российской науки.

На самом деле, это очень больной вопрос, и в моем понимании для
улучшения ситуации не делается практически ни-че-го. А то, что
делается -- это для сиюминутный целей и на краткосрочную перспективу,
т.к. фундаментальную науку толком не финансируют. РФФИ уже второй год
проводит "урезание" финансирования по грантам на 20-30 %, при том, что
сами гранты не ахти какие и не идут ни в какое сравнение с
европейскими. Большинство хотят по-простому: "открываете инновационное
предприятие -- за пару лет разворачиваете бизнес на миллионы долларов
и все рады", и правительство вбухивает неимоверные суммы в эти
прожекты. В итоге имитация кипучей деятельности, пухлые отчеты на
12375698734 страниц и почти нулевой выхлоп. Хотя, может быть, это я
все в таком мрачном свете вижу. В РАНовских НИИ, говорят, ситуация
стала лучше в последние 2-3 года, но в ВУЗах индексацию з/п уже второй
год не проводят, а несколько лет назад обещали к 2010г. среднюю з/п в
вузе поднять до 1--1,5 тысяч бакинских рублей (хотя коммунизм вообще
обещали построить к 1980-му году :)).

Очень часто проблема заключается в "странном" расходовании денег
(закономерность: здания часто снаружи и внутри находятся в гораздо
лучшем состоянии, чем большинство людей, которые там работают),
поэтому, Илья, на мой взгляд, твой сценарий хоть и хорош, но у нас
просто не будет работать, т.к. в реальности, скорее всего, поручат
выполнение этой задачи человеку, который в лучшем случае потребует
прибавление к зарплате и хорошую премию из этих 10 млн. за
рассмотрение заявок и отчетов, а в худшем попытается организовать свое
структурное подразделение и станет маленьким босом, а потом устроит
активность в виде конкурса на поездки, чтобы народ доказал значимость
конференции, необходимость поездки и что всем станет от этого лучше
жить (джентльменам на слово у нас как-то верить не принято) и т.д. А
10 млн., хоть, согласен, это и не такая великая сумма, найти будет
тяжело (эх, таким Макаром уволят меня из ТУСУРа ;)). Политех выделяет
порядка 5-7 млн. на организацию всей политеховской молодежной науки
(эта сумма включает организацию конференций, олимпиады, премии,
коммандировки и т.д.) и соответствующий отдел этим очень даже
козыряет, а политех побогаче будет (из политеха тоже уволят :)).

В общем можно долго ругаться и плеваться, но что есть, то есть. Если
бы моя жена не боялась далеко уезжать, я бы давно уже поехал куда-
нибудь на постдок на 2-3 года и постарался остаться, т.к. хочется уже
пожить и поработать в стране, где простых граждан уважают и ценят, а у
нас даже ветеранов ВОВ не могут нормально обеспечить, какая уж тут
наука... (вот, вдогонку к увольнениям и гражданства лишат %)).

Юрий

Ilya Loshchilov

unread,
Mar 12, 2010, 11:10:21 AM3/12/10
to ec...@googlegroups.com
справедливый ответ, Юрий :)
модель идеализированная с одной стороны, но 'проще не придумаешь' с другой стороны
обычный аспирант попросит разделить 100 тыс. которые ему 'полагаются' на 3 года, т.е. по 3 тыс. к стипендии что уже гуд. с другой стороны вместо десятков хороших статей, получится дележка небольшой суммы, которая мало что меняет
к тому же 10 млн, это я взял по максимуму.  не все и похоже даже не половина смогут опубликовать, конкурс все-таки не детский по некоторым областям

пойдем дальше, конкурс У.М.Н.И.К. -> 200 тыс. в год на два года, т.е. 400 тыс. или 4 хороших статьи для 4 молодых аспирантов. я сам выигрывал такой конкурс и считаю, что он сильно помог мне заниматься тем, чем я хотел, т.е. разработкой софта с потенциалом коммерциализации. 
но Юрий, ты и сам бывал на этих конкурсах, ты вероятно видел как 30-60% там просто 'проталкивают', причем по 10-20 человек за сессию, т.е. 10-30 * 400 = наши 5млн.  Вот если бы каждый раз обсуждалось - а стоит ли этот умниковский проект 4 поездок молодых аспирантов .. 
Все что ты пишешь - верно, есть и такая проблема, когда деньги есть, а в конечный продукт это не преобразовывается.
что касается зарплаты, то стипендия аспиранта в европе и сша в среднем, я думаю, 60-80% от зарплаты инженера сразу после нормального университета там же . зарплата преподавателя 80-150% от зарплаты инженера. т.е. такая есть такая вещь, что PhD получает иногда меньше чем новоиспеченный инженер (хотя этот PhD частенько уже инженер :)
если говорить о неМосковской России, то средняя зарплата нормального инженера сразу после универа - 14-20 тыс.
т.е. ожидаемая стипендия аспиранта должна быть 10-12 тыс., преподавателя около 20-25.
т.е. аспиранты явно в проигрыше по отношению ко всем, гранты не в помощь я думаю тоже. грант отличается от зарплатой тем, что человеку хоть и надо работать эффективнее, но траектория исследований становится более спекулятивной чтоли

читал отчет как-то томской области по всем универам, зарплата профессора, если я не ошибаюсь, 30-40 тыс. Не такая уж и плохая цифра выходит.
 

12 марта 2010 г. 16:35 пользователь yury...@gmail.com <yury...@gmail.com> написал:

Юрий

--
Вы получили это сообщение, поскольку подписаны на группу Эволюционные вычисления.

Чтобы добавлять сообщения в эту группу, отправьте письмо по адресу ec...@googlegroups.com.
Чтобы отменить подписку на эту группу, отправьте сообщение по адресу ecetc+un...@googlegroups.com.
О дополнительных функциях можно узнать в группе по адресу http://groups.google.com/group/ecetc?hl=ru.


Ilya Loshchilov

unread,
Mar 12, 2010, 11:27:52 AM3/12/10
to ec...@googlegroups.com
забыл написать
я к тому и веду, что не должно быть никакого человека и никаких отчетов (кроме: билеты на самолет, подтверждение принятия статьи). это должно быть организовано вопреки таким людям
т.е. максимально прозрачная схема и минимум бюрократии. на что конечно сложно рассчитывать, т.е. придется как-то приближать.
я оставляю надежду, что при публичности мероприятия будут находиться более менее 'чистые' участники


12 марта 2010 г. 17:10 пользователь Ilya Loshchilov <ilya.lo...@gmail.com> написал:

yury...@gmail.com

unread,
Mar 12, 2010, 12:09:02 PM3/12/10
to Эволюционные вычисления
Да, если бы так было (поездки и стипендии), то шансов у науки было бы
больше. По крайней мере, аспиранты могли бы хоть как-то работать.

С зарплатой профессоров примерно так и есть (по крайней мере в ТПУ и
ТУСУРе) или немного меньше, т.е. на общем фоне, наверное, неплохо.
Хотя у знакомого профессора в ТГАСУ на полной ставке получается меньше
20 тыс. Еще вот пример: буквально сегодня говорил с одним профессором
из ТУСУРа, рассказал ему про КИИ-2010 (кстати,
http://raai.org/news/arch_news/2010/03/kii2010-1letter.doc) и он
сказал, что поехать в Тверь скорее всего не сможет, т.к. денег нет.

В общем, интересный это вопрос, наука в России :), можно долго
обсуждать. Кстати, любопытно, но домен "http://science.ru/" не
занят :) Страница есть, просто кто-то хочет перепродать, а в самой
верхней строчке есть список "родственных сайтов" и все они
порнографической направленности. Символично :)

ilya.lo...@gmail.com

unread,
Mar 19, 2010, 8:57:52 AM3/19/10
to Эволюционные вычисления
%Результаты сравнения разных алгоритмов анализа данных на задачах из
%репозитория UCI:
%http://www.dtreg.com/benchmarks.htm

Интересные результаты.
Все что я бы желал бы в этом случае, это прикрепленный мини-алгоритм
лучше всего на матлабе для каждого из первой пятерки. Вероятно многие
алгоритмы - гибриды, т.е. могут быть далеки от своих же канонических
версий.
Из того что не влезло в таблицу - размерности задач. Хотя кому надо -
посмотрят.

On 12 мар, 18:09, "yuryt...@gmail.com" <yuryt...@gmail.com> wrote:
> Да, если бы так было (поездки и стипендии), то шансов у науки было бы
> больше. По крайней мере, аспиранты могли бы хоть как-то работать.
>
> С зарплатой профессоров примерно так и есть (по крайней мере в ТПУ и
> ТУСУРе) или немного меньше, т.е. на общем фоне, наверное, неплохо.
> Хотя у знакомого профессора в ТГАСУ на полной ставке получается меньше
> 20 тыс. Еще вот пример: буквально сегодня говорил с одним профессором

> из ТУСУРа, рассказал ему про КИИ-2010 (кстати,http://raai.org/news/arch_news/2010/03/kii2010-1letter.doc) и он

ilya.lo...@gmail.com

unread,
Mar 21, 2010, 8:27:39 AM3/21/10
to Эволюционные вычисления
//Журнал "Искусственный интеллект и принятие решений" включен в список
ВАК. Сайт журнала: http://aidt.ru/

Гуд что появился такой журнал, я даже как-то легко представил как я
написал туда статью.
Есть правда одна проблема, вот например статья по многокритериальной
оптимизации, а именно "Сужение множества Парето
на основе наборов взаимно зависимой информации о нечетком отношении
предпочтения": http://aidt.ru/images/documents/2009-02/34-44.pdf
Когда просматриваешь статью, создается впечатление, что мы работаем в
разных областях, т.е. для меня это "странная" статья, т.е. не такая,
какие я обычно вижу по этой теме. Я полагаю, что для автора моя бы
статья, или статья которые я вижу выглядели бы так же странными .
т.е. мой краткий вопрос на статью: а почему не использовать
nondominated sorting и hypervolume или другой индикатор. И тут даже
если ответ "НЕТ, потому что ..." , то он должен быть написать прямо в
тексте статьи, чтобы дать остыть странным ребятам вроде меня.

On 19 мар, 13:57, "ilya.loshchi...@gmail.com"

Olexandr Bondarenko

unread,
Mar 21, 2010, 12:15:07 PM3/21/10
to Эволюционные вычисления
Если я правильно вас понял, Илья, под странностью вы понимаете знание
основных результатов специалистов, которые печатаются за пределами
русскоязычной литературы?

On Mar 21, 2:27 pm, "ilya.loshchi...@gmail.com"

Olexandr Bondarenko

unread,
Mar 21, 2010, 12:16:25 PM3/21/10
to Эволюционные вычисления
Слово странность конечно же в кавычках.

yury...@gmail.com

unread,
Mar 21, 2010, 12:52:22 PM3/21/10
to Эволюционные вычисления
Илья,

на мой взгляд, дело в том, что вы с автором статьи работаете в разных
областях, т.к. задача многокритериальной оптимизации часто делится на
две части:

1. генерация альтернатив (здесь среди прочих и эволюционные
алгоритмы). Результатом является набор альтернатив. Свежий пример: 4
пункта, в которых можно было бы построить Российскую силиконовую
долину (Питер, Сколково, Томск и по-моему Новосибирск).

2. оценка альтернатив и выбор (здесь автор). При этом, очень часто на
этом этапе сразу предполагается, что сравниваемые альтернативы
находятся на границе Парето. Даже если это не так, то не оптимальные
по Парето альтернативы быстро отсеиваются и non-dominated sorting это
один из возможных вариантов, просто, в математике уже давно (60-70-е
годы, если не ошибаюсь) придумано много своих методов, и остаются
только "крепкие орешки", выбор между которыми действительно затруднен.
Результатом является 1 (иногда 2) наилучших решения.

т.е. если посмотришь практически любую статью по методу аналитических
иерархий, то там тоже не будет ни nondominated sorting, ни индикаторов
там не будет, т.к. на самом деле правильнйы выбор из имеющихся
альтернатив задача часто гораздо более сложная.

В статье есть еще одна интересная особенность. Предполагается, что ЛПР
действует в соответствии с известными аксиомами рационального выбора,
которые приведены в статье и которые, кстати, весьма достойно
оправдывают свое название. Но самое интересное заключается в том, что
в огромном количестве случаев люди руководствуются не рациональным
выбором, а эмоциями, поэтому пока что не существует ни одной
универсальной модели, описывающей особенности человеческого (не
математического) выбора. На эту тему есть много всяких парадоксов,
например, дилемма генерала (совсем немного изменил условия из
http://www.gorskiy.ru/Articles/Dmss/Larichev.html):

"Генерал должен вывести воинское подразделение, насчитывающее 600
человек, из вражеского окружения по одной из двух дорог. Известно, что
при выборе первой дороги 200 человек будут спасены. При выборе второй
дороги имеется вероятность равная 1:3, что все 600 человек будут
спасены, и вероятность 2:3, что никто не спасется. Большинство выбрало
первую дорогу. Через некоторое время перед той же группой людей
ставилась та же задача, но со следующими условиями: при выборе первой
дороги погибнут 400 человек, при выборе второй - есть вероятность 1:3,
что никто не погибнет, и вероятность 2:3, что погибнет 600 человек.
Большинство предпочло вторую дорогу.

Совершенно очевидно, что задача одна и та же, но сформирована в первом
случае на языке "приобретений", а во втором - на языке "потерь".
Известен психологический факт разного поведения человека по отношению
к риску для задач с выгодами и потерями."

Т.е. это не значит, что в статье результаты плохие или еще что-нибудь.
Нет, статья, на мой вкус, вполне хорошая. Просто, как говорится "In
theory there is no difference between theory and practice. In practice
there is" :).

ilya.lo...@gmail.com

unread,
Mar 21, 2010, 3:45:40 PM3/21/10
to Эволюционные вычисления
Олександр,
Если бы вы написали "незнание" вместо "знание", тогда я бы ответил
"да" на ваш вопрос.

Юрий,
Я думаю, что мы работаем с автором в одной и той же области. Поскольку
если предпочтения могут быть сформированы, то поиск
и выбор может осуществляться на их основе. Так, hypervolume
contribution, например, может быть использован для выбора между Парето
альтернативами, да и multiple criteria decision making это в сущности
может представлять собой environmental selection в алгоритме поиска. В
статье представлен вариант трансформации пространства целей ("сужение
Парето" здесь) на основе информации о предпочтениях.

Мое замечание в сущности основано на том, что автор не дает оценку
своего подхода среди других, он оставляет это на читателя.
Я как читатель провел свою оценку: я не увидел чего-то уникального, я
прикинул год той книжки, где это может уже было описано, в моей голове
появилось 80-85 год. Если бы автор указал, что этот подход имеет
схожие идеи с подходом А1 автора Б1 от 85 года, но лучше его и лучше
алгоритма А2 автора Б2 от 95 года, но является хорошей альтернативой
подхода А3,А4,А5, отличаясь рядом достоинств. Для своего алгоритма
оценка Парето фронта похоже не приведена, либо не представлена по
каким-то причинам (каким?).
Статья руководителя http://www.apmath.spbu.ru/ru/staff/nogin/ , "Ногин
В.Д. Новый способ сужения области компромиссов// Известия АН СССР,
Техническая кибернетика, 1976, No. 5, с. 10-14." (я ее не нашел) наводит
на мысль, что Ногин В.Д. утер бы нос многим, поскольку занимается этим
35 лет :) Вопрос в другом, утер чем? Позволю себе дерзость
предположить, что чем-то 20ти летней давности.
Проблема в том, что аспирант Климова продолжает эти исследования в том
же ключе, вероятно, без доли сомнения.

Я надеюсь, Вы сможете рассматривать мои замечания без оценки моей
собственной деятельности, поскольку это позволяет отбросить эмоции
вроде "а кто ты такой, чтоб это говорить", которую ни к чему
конструктивному не ведут. Хотя кто мешает, в этом весь мотор
дискуссий ? ;)

> например, дилемма генерала (совсем немного изменил условия изhttp://www.gorskiy.ru/Articles/Dmss/Larichev.html):

yury...@gmail.com

unread,
Mar 28, 2010, 9:56:07 AM3/28/10
to Эволюционные вычисления
Илья,
Очень интересный ролик, перспективная штука, особенно для людей с
ограниченными возможностями. Хороший у тебя институт :) Пару лет назад
слышал, как про подобный проект с интерфейсом мозг-компьютер
докладывал А.А. Фролов из ИВНД и НФ, Москва, на Нейроинформатике-2008
(http://neurolectures.narod.ru/2008/Frolov-2008.pdf). У них был
немного другой принцип, там пытались силой мысли заставить курсор мыши
перемещаться по экрану, что-то получалось, но т.к. человек постоянно
отвлекается на всякие посторонние мысли и факторы, то уровень шума был
очень высоким, т.к. нужна сильная воля и концентрация. В роли
тренажера это даже было бы интересно :) У французов получился более
действенный подход, т.к. похоже выделить моторику проще на фоне
остальной мозговой активности.

Ilya Loshchilov

unread,
Mar 28, 2010, 11:41:50 AM3/28/10
to ec...@googlegroups.com
институт децентрализован, т.е. в нескольких городах равноправные лаборатории, поэтому как это часто бывает, люди не в курсе кто что делает :)
с одной стороны тема перспективная, но для качественного шага нужно немало времени и денежных вложений в междисциплинарные исследования
я могу представить, что управлять мышкой или классифицировать эмоции это проблема решаемая, но ловить сложные  мысли ~ неплохо понимать как работает мозг :) 
а обзор хороший, можно сэкономить прилично времени 

28 марта 2010 г. 15:56 пользователь yury...@gmail.com <yury...@gmail.com> написал:

Andrey Gavrilov

unread,
Mar 28, 2010, 8:30:58 PM3/28/10
to ec...@googlegroups.com
Вовсе не обязательно понимать глубоко как работает мозг. Эту задачу можно рассматривать как задачу распознавания (классификации). Имеем множество паттернов, взятых с разных участков коры, извлекаем информативные признаки (предобработка) и распознаем с помощью НС движения, эмоции, объекты, о которых мыслит человек и т.п. Т.е. имеем обратную симметричную задачу по отношению к обычной задаче распознавания (моделирующей работу мозга).
Насчет распознавания объектов (субъектов) в мыслях, нужна соотвествующая (высокая) разрешающая способность сети датчиков.
А.В.Гаврилов

Ilya Loshchilov

unread,
Mar 29, 2010, 7:12:43 AM3/29/10
to ec...@googlegroups.com
'я могу представить, что управлять мышкой или классифицировать эмоции это проблема решаемая, но ловить сложные  мысли ~ неплохо понимать как работает мозг :)' - я писал про классификацию ;)
если я верно понял, то вы работаете в этой области, поэтому я еще более удивлен вашей позицией

'Насчет распознавания объектов (субъектов) в мыслях, нужна соотвествующая (высокая) разрешающая способность сети датчиков'
хорошо, нужна высокая разрешающая способность, или иначе - больше лучших датчиков
допустим благодаря датчикам вы сняли 'всю' картинку мозга - всю химию и физику, тогда что теперь? теперь дело в шляпе?
классификация поможет вам ловить эмоции и некоторые позывы, как я и писал, но сложная мысль, например воспоминание или план/идея, требует от вас понимания принципов распознавания образов мозгом, если вы у вас есть такое детальное понимание, то видимо следует печатать в nature и в очередь за нобелем, если же вы используете современные, но стандартные методики, то боюсь что они далеки от чтения моих мыслей об шахматной партии, которую я играл вчера, а так же от тех ассоциаций с партиями, которые я играл в 8 лет. хотя шахматы, вероятно, можно отнести к относительно простым проблемам, когда у большинства 'пациентов' очень похожие подходы к хранению данных и решению задачи.

если говорить о проблеме глобальнее, то если представить что жизнь человека - это решение многоцелевой задачи оптимизации/адаптации, то то, что вы увидите 'сняв' мозг, это процессы модификации и хранения информации, но не причины этих процессов. 
я полагаю, что для чтения сложных мыслей (а не эмоций),  которые являются промежуточными решениями частной задачи оптимизации, вам требуется 'неплохо понимать как работает мозг' ( слово 'глубоко' все-таки отличается от слова 'неплохо') 

29 марта 2010 г. 2:30 пользователь Andrey Gavrilov <avg...@rambler.ru> написал:

Andrey Gavrilov

unread,
Mar 29, 2010, 5:49:40 AM3/29/10
to ec...@googlegroups.com
Стремиться к нобелю мне, пожалуй, поздновато.
Был бы лет на 20 моложе...)))
А если серъезно, вы меня наверное не поняли.
Когда вы смотрите по сторонам, вы ведь не можете на все 100% угадать и увидеть все, что делается вокруг. Вы видите только то, что доступно вашим органам чувств, и то, что готовы увидеть в соответствии с вашими целями и моделями действительности. И вам вовсе не обязательно иметь по "глазу" на каждый квадратный дециметр, например, в округе. Но это вам не мешает понимать окружающее в той степени, в какой это вам надо (конечно, всякое восприятие относительно, читайте замечательную книгу А.Уилсона "Квантовая психология").
Вот с такой точки зрения я и рассматриваю "систему восприятия или распознавания мыслей". Для этого не надо снимать состояние каждого нейрона. Можно и снимать и огрубленную (или усредненную) информацию.
А о том, как работает мозг, уже кое-что известно. Например. Я сейчас не смогу найти ссылку, но где-то было сообщение, что ученые обнаружили, что при распознавании значимых образов, например, лица родственника, на выходе системы распознавания (в верхнем слое коры) возбуждается всего один нейрон.
И другой факт,полученный недавно, - в процессе обучения рождаются новые нейроны и мигрируют в нужное место коры, создавая необходимые связи (прошу прощения, что не привожу ссылки, т.к. сам не занимаюсь нейрофизиологией, а только искусственными НС, и эту информацию почернул из научно-популярных новостных рассылок).
Но есть и специалисты в области ИИ, которые пытаются воссоздать как можно более точно логику работы коры с ее уровнями обработки информации и, вроде, довольно успешно (см. Jeff Hawkins, Sandra Blakeslee. On Intelligence). Ими сделан мобильный робот, управляемый такой моделью мозга.
А.В.Гаврилов

ilya.lo...@gmail.com

unread,
Mar 31, 2010, 6:49:27 AM3/31/10
to Эволюционные вычисления
Михаил Бурцев, диссертация (кратко)
http://mbur.narod.ru/diss/diss.htm

On 29 мар, 11:49, "Andrey Gavrilov" <avg1...@rambler.ru> wrote:
> Стремиться к нобелю мне, пожалуй, поздновато.
> Был бы лет на 20 моложе...)))
> А если серъезно, вы меня наверное не поняли.
> Когда вы смотрите по сторонам, вы ведь не можете на все 100% угадать и увидеть все, что делается вокруг. Вы видите только то, что доступно вашим органам чувств, и то, что готовы увидеть в соответствии с вашими целями и моделями действительности. И вам вовсе не обязательно иметь по "глазу" на каждый квадратный дециметр, например, в округе. Но это вам не мешает понимать окружающее в той степени, в какой это вам надо (конечно, всякое восприятие относительно, читайте замечательную книгу А.Уилсона "Квантовая психология").
> Вот с такой точки зрения я и рассматриваю "систему восприятия или распознавания мыслей". Для этого не надо снимать состояние каждого нейрона. Можно и снимать и огрубленную (или усредненную) информацию.
> А о том, как работает мозг, уже кое-что известно. Например. Я сейчас не смогу найти ссылку, но где-то было сообщение, что ученые обнаружили, что при распознавании значимых образов, например, лица родственника, на выходе системы распознавания (в верхнем слое коры) возбуждается всего один нейрон.
> И другой факт,полученный недавно, - в процессе обучения рождаются новые нейроны и мигрируют в нужное место коры, создавая необходимые связи (прошу прощения, что не привожу ссылки, т.к. сам не занимаюсь нейрофизиологией, а только искусственными НС, и эту информацию почернул из научно-популярных новостных рассылок).
> Но есть и специалисты в области ИИ, которые пытаются воссоздать как можно более точно логику работы коры с ее уровнями обработки информации и, вроде, довольно успешно (см. Jeff Hawkins, Sandra Blakeslee. On Intelligence). Ими сделан мобильный робот, управляемый такой моделью мозга.
> А.В.Гаврилов
>
>
>
> ----- Original Message -----
> From: Ilya Loshchilov
> To: ec...@googlegroups.com
> Sent: Monday, March 29, 2010 8:12 PM
> Subject: Re: {Эволюционные вычисления} Re: Лента - комментарии
>
> 'я могу представить, что управлять мышкой или классифицировать эмоции это проблема решаемая, но ловить сложные мысли ~ неплохо понимать как работает мозг :)' - я писал про классификацию ;)
> если я верно понял, то вы работаете в этой области, поэтому я еще более удивлен вашей позицией
>
> 'Насчет распознавания объектов (субъектов) в мыслях, нужна соотвествующая (высокая) разрешающая способность сети датчиков'
> хорошо, нужна высокая разрешающая способность, или иначе - больше лучших датчиков
> допустим благодаря датчикам вы сняли 'всю' картинку мозга - всю химию и физику, тогда что теперь? теперь дело в шляпе?
> классификация поможет вам ловить эмоции и некоторые позывы, как я и писал, но сложная мысль, например воспоминание или план/идея, требует от вас понимания принципов распознавания образов мозгом, если вы у вас есть такое детальное понимание, то видимо следует печатать в nature и в очередь за нобелем, если же вы используете современные, но стандартные методики, то боюсь что они далеки от чтения моих мыслей об шахматной партии, которую я играл вчера, а так же от тех ассоциаций с партиями, которые я играл в 8 лет. хотя шахматы, вероятно, можно отнести к относительно простым проблемам, когда у большинства 'пациентов' очень похожие подходы к хранению данных и решению задачи.
>
> если говорить о проблеме глобальнее, то если представить что жизнь человека - это решение многоцелевой задачи оптимизации/адаптации, то то, что вы увидите 'сняв' мозг, это процессы модификации и хранения информации, но не причины этих процессов.
> я полагаю, что для чтения сложных мыслей (а не эмоций), которые являются промежуточными решениями частной задачи оптимизации, вам требуется 'неплохо понимать как работает мозг' ( слово 'глубоко' все-таки отличается от слова 'неплохо')
>

> 29 марта 2010 г. 2:30 пользователь Andrey Gavrilov <avg1...@rambler.ru> написал:


>
> Вовсе не обязательно понимать глубоко как работает мозг. Эту задачу можно рассматривать как задачу распознавания (классификации). Имеем множество паттернов, взятых с разных участков коры, извлекаем информативные признаки (предобработка) и распознаем с помощью НС движения, эмоции, объекты, о которых мыслит человек и т.п. Т.е. имеем обратную симметричную задачу по отношению к обычной задаче распознавания (моделирующей работу мозга).
> Насчет распознавания объектов (субъектов) в мыслях, нужна соотвествующая (высокая) разрешающая способность сети датчиков.
> А.В.Гаврилов
> http://www.insycom.ru
>
> ----- Original Message -----
> From: Ilya Loshchilov
> To: ec...@googlegroups.com
> Sent: Monday, March 29, 2010 12:41 AM
> Subject: Re: {Эволюционные вычисления} Re: Лента - комментарии
>
> институт децентрализован, т.е. в нескольких городах равноправные лаборатории, поэтому как это часто бывает, люди не в курсе кто что делает :)
> с одной стороны тема перспективная, но для качественного шага нужно немало времени и денежных вложений в междисциплинарные исследования
> я могу представить, что управлять мышкой или классифицировать эмоции это проблема решаемая, но ловить сложные мысли ~ неплохо понимать как работает мозг :)
> а обзор хороший, можно сэкономить прилично времени
>

> 28 марта 2010 г. 15:56 пользователь yuryt...@gmail.com <yuryt...@gmail.com> написал:


>
> Илья,
> Очень интересный ролик, перспективная штука, особенно для людей с
> ограниченными возможностями. Хороший у тебя институт :) Пару лет назад
> слышал, как про подобный проект с интерфейсом мозг-компьютер
> докладывал А.А. Фролов из ИВНД и НФ, Москва, на Нейроинформатике-2008
> (http://neurolectures.narod.ru/2008/Frolov-2008.pdf). У них был
> немного другой принцип, там пытались силой мысли заставить курсор мыши
> перемещаться по экрану, что-то получалось, но т.к. человек постоянно

> отвлекается на всякие...
>
> продолжение >>

Ilya Loshchilov

unread,
Mar 31, 2010, 7:00:40 AM3/31/10
to Эволюционные вычисления
насчет видео, хорошая новость я думаю :-)
правда, проблемы тоже наблюдаются, например тут 
когда монстр говорит, система его не понимает ) надо бы добавить возможность подглядывать имеющиеся субтитры )

31 марта 2010 г. 12:49 пользователь ilya.lo...@gmail.com <ilya.lo...@gmail.com> написал:

--

yury...@gmail.com

unread,
Mar 31, 2010, 7:12:25 AM3/31/10
to Эволюционные вычисления
Есть много ошибок связанных с разбиением текста на предложения (если
начать читать просто текст, то возникает легкий когнитивный шок :)),
но сами слова в большинстве случаев распознаются верно, это очень даже
хорошо. Это напомнило нынешнее распознавание печатного текста в
документе со сложной структурой: ошибки есть, но их не так уж и много,
а в целом очень прилично, гораздо быстрее, чем при наборе текста
"руками". Неужели скоро, через пару-тройку лет, можно будет диктовать
прямо в Ворд? ;)

Ilya Loshchilov

unread,
Mar 31, 2010, 9:45:47 PM3/31/10
to ec...@googlegroups.com
да, есть такая проблема, когда в какой-то области начинают расти коммерческие/веб продукты, стулья под некоторыми лабораториями начинают шататься, типа уже готовый софт есть, а вы тут все копаете ... ясно, что есть куча ответов на такие вопросы, но нотки все-равно болезненные

31 марта 2010 г. 13:12 пользователь yury...@gmail.com <yury...@gmail.com> написал:

--

Ilya Loshchilov

unread,
Apr 6, 2010, 11:25:32 AM4/6/10
to ec...@googlegroups.com
" Из российских компаний на сектор НИОКР тратятся <<Газпром>> ($605 млн, что составляет 0,00075% от выручки)"
наверное утечка ускоряется еще и от того, что некоторые "аналитики от государства" не умеют считать проценты ;)

предвкушаю, что по будущей теории Джерарда Ягерса оп Аккерхуиса "Социум и живые организмы", его же ягерса после 70ти придется отправить на био-переработку как несовременный и бесполезный для общества набор операторов ;)  

1 апреля 2010 г. 3:45 пользователь Ilya Loshchilov <ilya.lo...@gmail.com> написал:

yury...@gmail.com

unread,
Apr 6, 2010, 9:57:18 PM4/6/10
to Эволюционные вычисления
Да, занимательная арифметика получается:

Если $605 млн составляют 0,00075% от выручки, то вся выручка будет
около 8,067E+15 долларов. Вспомним, что в 2008 жители Латвии
предложили Абрамовичу купить их страну за 7,500Е+9 долларов. Итого
получаем, что на выручку Газпрома можно купить больше 1 млн. Латвий :)

Если посчитать по-другому, то площадь Латвии составляет примерно 64500
км2, и раз можно купить в млн. раз больше земли, то получаем 6,450Е+10
км2, что почти в 13 раз больше всей площади поверхности нашей планеты
Земля, возможно, этого должно хватить, чтобы купить Землю целиком и с
Луной в нагрузку :). Ну или, на худой конец, хотя снтиметровый слой
всей Земной поверхности (т.к., по-хорошему, нужно учитывать ископаемые
ресурсы).

Аналогично можно посчитать по населению Латвии (2,253 млн. человек по
состоянию на октябрь 2009 г.). Выручки Газпрома хватит, чтобы купить
более 2,253Е+9 жителей Прибалтики, а это примерно треть населения
Земли. Да, с населением как-то "мелковато" получается: Землю уже
купить не выйдет, разве что пару материков %).

Понятно, что выручка -- это не чистая выручка и с нее потом много чего
"откусят", но опечатка получилась очень забавная :)

Message has been deleted
Message has been deleted

yury...@gmail.com

unread,
Apr 8, 2010, 11:04:00 AM4/8/10
to Эволюционные вычисления
Илья, спасибо за ссылку! Очень интересный материал. Чтобы сильно не
мудрить вот перевод отрывка из заключения:

"Для задач очень малой размерности лучше всех оказался алгоритм NELDER
(Doe). При небольшом количестве вычислений ЦФ победили алгоритмы
NEWUOA, MCS и GLOBAL. В случае сложных функций и большого количества
вычислений ЦФ варианты CMA-ES и IDEA показали самые хорошие
результаты."

Что любопытно, примерно 10 из рассматриваемых алгоритмов в той или
иной степени используют EDA (если считать CMA-ES также вариантом EDA).

Ilya Loshchilov

unread,
Apr 8, 2010, 11:22:33 AM4/8/10
to ec...@googlegroups.com
очень хорошая затея, в этом году еще будут алгоритмы и вроде бы частные сравнительные анализы алгоритмов попарно
+ это стимулируют людей 

8 апреля 2010 г. 17:04 пользователь yury...@gmail.com <yury...@gmail.com> написал:

yury...@gmail.com

unread,
Apr 9, 2010, 11:07:36 PM4/9/10
to Эволюционные вычисления
Олександр, спасибо! Если не секрет, подскажите, где достали труды
Evo*?

В трудах EvoCOP есть неплохая статья из Новосибирска (НГУ):

Alekseeva E., Kochetova N., Kochetov Y., Plyasunov A. Heuristic and
Exact Methods for the Discrete (r | p)-Centroid Problem

К сожалению, EuroGP2010 никак не открывается (размер 8729745 байтов,
может просто файл не "залился" в группу до конца?)


On 8 апр, 22:22, Ilya Loshchilov <ilya.loshchi...@gmail.com> wrote:
> очень хорошая затея, в этом году еще будут алгоритмы и вроде бы частные
> сравнительные анализы алгоритмов попарно
> + это стимулируют людей
>

> 8 апреля 2010 г. 17:04 пользователь yuryt...@gmail.com
> <yuryt...@gmail.com>написал:


>
>
>
> > Илья, спасибо за ссылку! Очень интересный материал. Чтобы сильно не
> > мудрить вот перевод отрывка из заключения:
>
> > "Для задач очень малой размерности лучше всех оказался алгоритм NELDER
> > (Doe). При небольшом количестве вычислений ЦФ победили алгоритмы
> > NEWUOA, MCS и GLOBAL. В случае сложных функций и большого количества
> > вычислений ЦФ варианты CMA-ES и IDEA показали самые хорошие
> > результаты."
>
> > Что любопытно, примерно 10 из рассматриваемых алгоритмов в той или
> > иной степени используют EDA (если считать CMA-ES также вариантом EDA).
>
> > --
> > Вы получили это сообщение, поскольку подписаны на группу Эволюционные
> > вычисления.
>
> > Чтобы добавлять сообщения в эту группу, отправьте письмо по адресу
> > ec...@googlegroups.com.
> > Чтобы отменить подписку на эту группу, отправьте сообщение по адресу

> > ecetc+un...@googlegroups.com <ecetc%2Bunsu...@googlegroups.com>.

Olexandr Bondarenko

unread,
Apr 10, 2010, 2:41:56 AM4/10/10
to Эволюционные вычисления
Дело в том, что этот файл заархивирован бигзипом, поэтому в пдфридере
вы его действительно не откроете, а вот в просмотрщике постскрипт-
файлов без разархивирования сможете просмотреть. Ежели хотите в
пдфридере, то просто разархивируйте. В конце концов я просто загружу в
том, архиве, которой вам подходит. А труды я доставал собственно с
сайта шпрингера.

yury...@gmail.com

unread,
Apr 10, 2010, 2:53:02 AM4/10/10
to Эволюционные вычисления
В том-то и вся петрушка, что не получается разархивировать, тогда как
два других файла нормально распаковались. Но в данном случае,
действительно, будет проще взять труды с сайта шпрингера, у нас есть
туда доступ (просто как-то я не догадался искать сначала в легальном
месте :))

yury...@gmail.com

unread,
Apr 16, 2010, 9:02:58 PM4/16/10
to Эволюционные вычисления
Илья,

Классная ссылка и очень много деталей, о которых сейчас сложно узнать.
Что интересно буквально вчера натыкался уже на этот блог (перешел с
блога Джулиана Тогелиуса, http://togelius.blogspot.com/), но сильно не
смотрел, разве что последний пост про советского мега-ученого :)

Юрий


--
Вы получили это сообщение, поскольку подписаны на группу Эволюционные вычисления.

Чтобы добавлять сообщения в эту группу, отправьте письмо по адресу ec...@googlegroups.com.

Чтобы отменить подписку на эту группу, отправьте сообщение по адресу ecetc+un...@googlegroups.com.

Ilya Loshchilov

unread,
Apr 28, 2010, 6:07:27 AM4/28/10
to ec...@googlegroups.com
Alexey Radul:
я не понял фишку :-)

17 апреля 2010 г. 3:02 пользователь yury...@gmail.com <yury...@gmail.com> написал:

yury...@gmail.com

unread,
Apr 28, 2010, 11:26:43 AM4/28/10
to Эволюционные вычисления
Я и сам только поверхностно понял :), т.к. по ссылке представлено
популярное изложение. Но суть, наверное, в том, что создается некая
распределенная система вывода/вычислений/анализа каждый блок которой
может работать независимо от других блоков (определяется структурой),
при этом если несколько блоков на выходах содержат противоречивую
информацию об одних и тех же данных, то процесс принятия решения по
выходам этих блокам может учитывать всю информацию о данных (в статье
есть простецкий пример), т.е. нет необходимости немедленно решать,
какой из блоков "прав", или устраивать голосование или еще что-нибудь.
По крайней мере это следует из статьи, но она в двух словах все
описывает, поэтому если что лучше читать диссертацию (http://
web.mit.edu/~axch/www/phd-thesis.pdf). Я не читал, поэтому есть много
вопросов, типа:
1. Если накапливается информация о данных, то какие значения принимают
эти данные, ведь последующие блоки должны как-то работать?
2. Чем предложенная схема отличается от интервальных вычислений (если
есть такой термин), или вероятностного/возможностного
программирования, нечеткой логики? В том смысле, чтобы лучше понять,
как там все работает.
3. Для каких задач может пригодиться эта схема помимо семантического
анализа текста?
ну и т.д. Но т.к. эта область не совсем моя, то вопросы, в общем-то,
всплыли скорее из любопытства :). Хотя тема очень даже перспективная,
особенно, если там и вправду свежий взгляд на способ решения, в том
числе и на архитектуру вычислительных устройств (MIT как никак, надо
марку держать :)).

yury...@gmail.com

unread,
Apr 30, 2010, 9:15:54 PM4/30/10
to Эволюционные вычисления
Илья,

Да, публикации отличные и к тому же по теории ГА, что, к сожалению,
для российских работ -- редкость. Насколько знаю, А. Еремеев также
входит в оргкомитет ряда зарубежных конференций по эволюционным
вычислениям (тот же Evo*), что вообще практически уникальный случай
для молодого российского ученого, работающего в России. На сайте есть
еще интересный файл с вопросами и ответами для экзамена по спецкурсу
"Эволюционные алгоритмы и оптимизация": http://www.iitam.omsk.net.ru/~eremeev/PAPERS.SK/defs.pdf

Отдельно нужно отметить, что не в последнюю очередь публикации в
рейтинговых журналах достигнуты, благодаря хорошей математической
подготовке.

Ilya Loshchilov

unread,
May 13, 2010, 5:28:38 PM5/13/10
to ec...@googlegroups.com
Юрий, спасибо за ссылку.
Я внимательно изучал эту группу, публикации и пр.
Ранняя публикация двух участников группы: http://virtualcoglab.cs.msu.su/pdf/strateg_kazan.pdf . Казань-2004
Это интересная игра - разворачиваешь каждое предложение как конфету, но конфету не находишь. Потом абзац и страницу, так легко можно развернуть всю статью. Это статья - трудолюбиво завернутый воздух, нацеленный на читателя без мотивации понять, который прочитает и подумает "ну да, ага..". Когнитивная наука, однако.


1 мая 2010 г. 3:15 пользователь yury...@gmail.com <yury...@gmail.com> написал:

yury...@gmail.com

unread,
May 13, 2010, 9:03:52 PM5/13/10
to Эволюционные вычисления
А я нашел там тезис :), он касается того, что нужно исследовать
стратегию наблюдаемого/испытуемого, когда он решает некую перцептивную
задачу. Хотя до меня, как до "начинающего когнитолога", это стало
доходить во время чтения англоязычной аннотации (там более конкретно
написано), а потом перечитал последние несколько абзацев еще раза на
3, и вуаля :)

Просто, на мой взгляд, это статья, написанная психологами и для
психологов -- другой предмет исследования, специализированный и
специфичный язык, терминология, манера написания и свой (более
детальный, что ли) смысл, вкладываемый в привычные вроде слова. Хотя,
казалось бы, что научный метод и стиль должен быть унифицированным без
оглядки на конкретную науку, но на самом деле имеем дифференциацию
наук, и когнитивный шок при чтении статей из "не своих" областей :)

Ilya Loshchilov

unread,
May 13, 2010, 9:49:43 PM5/13/10
to ec...@googlegroups.com
"нужно исследовать стратегию наблюдаемого/испытуемого, когда он решает некую перцептивную задачу" - ну вот разве это не воздух? :-) опрометчиво будет искать первоисточник такого глубокого тезиса среди авторов двух последних тысячелетий
я согласен с тобой Юрий, терминология в каждой области своя, но я так же уверен и в том, что в голове авторов мысли уложены в более чистом, распакованном виде (я надеюсь).
Когда я писал "Когнитивная наука, однако.", я имел ввиду не то, что это какая-то особенная наука, а что авторы использовали некоторый прием упаковки воздуха, который замечательно работает с любым читателем, у которого нет времени/желания проводить серьезную оценку материала.


14 мая 2010 г. 3:03 пользователь yury...@gmail.com <yury...@gmail.com> написал:

Ilya Loshchilov

unread,
May 13, 2010, 9:59:47 PM5/13/10
to ec...@googlegroups.com
однако мало смысла с моей стороны уходить дальше, чем просто "мнение", когда авторы вне беседы

14 мая 2010 г. 3:49 пользователь Ilya Loshchilov <ilya.lo...@gmail.com> написал:

Ilya Loshchilov

unread,
May 17, 2010, 6:24:58 AM5/17/10
to ec...@googlegroups.com
Юрий, спасибо за хорошие ссылки насчет постеров.

14 мая 2010 г. 3:59 пользователь Ilya Loshchilov <ilya.lo...@gmail.com> написал:

Ilya Loshchilov

unread,
May 17, 2010, 9:53:26 AM5/17/10
to ec...@googlegroups.com
Гуд, действительно много исходников по PSO. К сожаления, я никак не могу найти время разобраться что же сделали в PSO за последние годы, статей публикуется очень много. 
В спешке просмотрел только результаты http://clerc.maurice.free.fr/pso/Balanced_PSO/Balanced_PSO.pdf 
Если говорить относительно cma-es, то для sphere: значительно медленнее.
для rosenbrock: слишком мало вычислений (40.000) чтобы оценить скорость поиска, значения 34-40 это прямо около (0,...0), но не (1,..1). для cma-es это ~50.000 для 1e-10.
для rastrigin: не сошлось и видимо не сойдется для размерности 30 при таком числе вычислений ЦФ (и большем?)
мне кажется автор в экспериментах использует либо слишком большую размерность 30, либо слишком мало расчетов ЦФ.
если уйти от сравнений, то я думаю, что pso перспективно, потому что развязывает руки для экспериментов и поиска/проверки новых идей, тогда как cma-es как алгоритм 'хорошо сошелся' 

17 мая 2010 г. 12:24 пользователь Ilya Loshchilov <ilya.lo...@gmail.com> написал:

Ilya Loshchilov

unread,
May 23, 2010, 8:49:33 AM5/23/10
to ec...@googlegroups.com
Насчет LKH и Келда Хелсгауна в группе есть сообщения от 2007 года: http://groups.google.com/group/ecetc/browse_thread/thread/b726c69400de81c5# 


17 мая 2010 г. 15:53 пользователь Ilya Loshchilov <ilya.lo...@gmail.com> написал:

Oleksandr Bondarenko

unread,
May 23, 2010, 9:45:56 AM5/23/10
to Эволюционные вычисления
По LKH добавлю то, о чем в 2007 не могло быть известно. В версии LKH
2.0.3 от июля 2009 года появилась реализация генетического алгоритма.
Вот цитата:
"CHANGES IN VERSION 2.0.3:

A simple genetic algorithm has been added. New keyword:
POPULATION_SIZE. Tours found by the first POPULATION_SIZE runs
constitute an initial population of tours. In each of the remaining
runs two tours (parents) from the current population is recombined
into a new tour (child) using a variant of the Edge Recombination
Crossover (ERX). The parents are chosen with random linear bias
towards the best members of the population. The child is used as
initial tour for the next run. If this run produces a tour better than
the worst tour of the population, then the resulting tour replaces the
worst tour. Premature convergence is avoided by requiring that all
tours in the population have different costs."

yury...@gmail.com

unread,
Jun 8, 2010, 12:09:16 PM6/8/10
to Эволюционные вычисления
Илья,

Про академию интересно, не знал, что есть такая возможность.

По поводу оптимизации всяких функций, недавно решил помучать CMA-ES и
подсунуть ей на вход ИНС с примерно 150-180 весами, в результате
замучился ждать, т.к. вычисление собственных векторов и значений для
матрицы 150х150 идет очень долго, хотя я добавил ограничение на
точность расчетов. Хотел попробовать гипотезу, что собственные векторы
не очень сильно меняются от поколения к поколению, а значит можно при
вычислении собственных векторов заранее преобразовывать матрицу
ковариаций в другой базис, образованный собственными векторами с
предыдущего шага, чтобы уменьшить количество итераций QR-разложения,
но там вообще программа сломалась, как раз из-за ограниченной
точности :). Пришлось откатываться к вещественному ГА с элитизмом и
агрессивной селекцией.

Ilya Loshchilov

unread,
Jun 8, 2010, 12:28:27 PM6/8/10
to ec...@googlegroups.com
Согласен, d=150 это много %)
Можно использовать код cma-es на matlab, есть вроде на сайте авторов, в версии cma-es или bipop-cma-es. Там просто флаг для использования только диагональной матрицы ковариации (сам я код в с флагом не юзал, но проблем не должно быть в теории :). По сути можно разницу в коде (несколько строк) исправить в c++ варианте cma-es. 
На выходе сложность самого алгоритма sep-CMA-ES на одно вычисление ЦФ растет квази-линейно, что спасает при больших размерностях.
Для экономии в cma-es можно обновлять матрицу каждые несколько поколений, часто поиск от этого деградирует незначительно (в матлаб коде это есть вроде).
А так, конечно d=150 это многовато :) Но вместо NN тогда можно юзать SVM, он без локальных оптимумов и размерность "прячется" под ядро (kernel). Хотя конечно как всегда успехи того или иного подхода зависят от проблемы :)

8 июня 2010 г. 20:09 пользователь yury...@gmail.com <yury...@gmail.com> написал:

Ilya Loshchilov

unread,
Jun 8, 2010, 12:29:36 PM6/8/10
to ec...@googlegroups.com
сорри, ссылка на springer, на самом деле статья конечно есть в google scholar

8 июня 2010 г. 20:28 пользователь Ilya Loshchilov <ilya.lo...@gmail.com> написал:

yury...@gmail.com

unread,
Jun 8, 2010, 9:20:41 PM6/8/10
to Эволюционные вычисления
Спасибо за ссылку! Я бысто глянул на статью, там как раз
рассматривается возможность использования только диагональной матрицы
ковариаций для сепарабельных задач. Можно попробовать, конечно, но при
обучении ИНС там задача как раз-таки несепарабельная.

Я использую pure-CMA-ES, только переписанную на С#, правда там
злосчастные собственные значения вычисляются одним из самых прямых и
не самых быстрых способов (что интересно, вычислительно "правильные"
реализации поиска собственных значений из Math.Net и AlgLib нормально
работать не захотели и очень часто крэшились, особенно на первом
поколении, когда матрица была почти единичная).

On 8 июн, 23:29, Ilya Loshchilov <ilya.loshchi...@gmail.com> wrote:
> сорри, ссылка на springer, на самом деле статья конечно есть в google
> scholar
>

> 8 июня 2010 г. 20:28 пользователь Ilya Loshchilov <ilya.loshchi...@gmail.com


>
>
>
> > написал:
> > Согласен, d=150 это много %)
> > Можно попробовать sep-CMA-ES "A simple modification in CMA-ES achieving

> > linear time and space complexity<http://www.springerlink.com/index/a85w47t6p03r8067.pdf>


> > ".
> > Можно использовать код cma-es на matlab, есть вроде на сайте авторов, в
> > версии cma-es или bipop-cma-es. Там просто флаг для использования только
> > диагональной матрицы ковариации (сам я код в с флагом не юзал, но проблем не
> > должно быть в теории :). По сути можно разницу в коде (несколько строк)
> > исправить в c++ варианте cma-es.
> > На выходе сложность самого алгоритма sep-CMA-ES на одно вычисление ЦФ
> > растет квази-линейно, что спасает при больших размерностях.
> > Для экономии в cma-es можно обновлять матрицу каждые несколько поколений,
> > часто поиск от этого деградирует незначительно (в матлаб коде это есть
> > вроде).
> > А так, конечно d=150 это многовато :) Но вместо NN тогда можно юзать SVM,
> > он без локальных оптимумов и размерность "прячется" под ядро (kernel). Хотя
> > конечно как всегда успехи того или иного подхода зависят от проблемы :)
>

> > 8 июня 2010 г. 20:09 пользователь yuryt...@gmail.com <yuryt...@gmail.com>написал:


>
> > Илья,
>
> >> Про академию интересно, не знал, что есть такая возможность.
>
> >> По поводу оптимизации всяких функций, недавно решил помучать CMA-ES и
> >> подсунуть ей на вход ИНС с примерно 150-180 весами, в результате
> >> замучился ждать, т.к. вычисление собственных векторов и значений для
> >> матрицы 150х150 идет очень долго, хотя я добавил ограничение на
> >> точность расчетов. Хотел попробовать гипотезу, что собственные векторы
> >> не очень сильно меняются от поколения к поколению, а значит можно при
> >> вычислении собственных векторов заранее преобразовывать матрицу
> >> ковариаций в другой базис, образованный собственными векторами с
> >> предыдущего шага, чтобы уменьшить количество итераций QR-разложения,
> >> но там вообще программа сломалась, как раз из-за ограниченной
> >> точности :). Пришлось откатываться к вещественному ГА с элитизмом и
> >> агрессивной селекцией.
>
> >> --
> >> Вы получили это сообщение, поскольку подписаны на группу Эволюционные
> >> вычисления.
>
> >> Чтобы добавлять сообщения в эту группу, отправьте письмо по адресу
> >> ec...@googlegroups.com.
> >> Чтобы отменить подписку на эту группу, отправьте сообщение по адресу

> >> ecetc+un...@googlegroups.com <ecetc%2Bunsu...@googlegroups.com>

Ilya Loshchilov

unread,
Jun 17, 2010, 6:52:28 PM6/17/10
to ec...@googlegroups.com
Про тараканов :-) Однако очень похоже на муравьиный случай, хотя когда читал, представлял туристов в музее )

9 июня 2010 г. 5:20 пользователь yury...@gmail.com <yury...@gmail.com> написал:
Чтобы отменить подписку на эту группу, отправьте сообщение по адресу ecetc+un...@googlegroups.com.

yury...@gmail.com

unread,
Jun 17, 2010, 9:15:30 PM6/17/10
to Эволюционные вычисления
да, на муравьев очень похоже. А вот про туристов -- интересная идея :)
если было бы время можно было бы придумать и опробовать "туристический
алгоритм" :) Например, экстремумы соответствуют экспонатам в музее, у
"туристов" есть различные интересы к экспонатам (экстремумам) разного
типа в зависимости от формы рельефа ЦФ и глубины экстремума (т.е.
нужно уметь оценивать локально параметры рельефа ЦФ) и они
"разбредаются" в поисках наиболее интересного для себя экспоната. При
этом есть гид (1 или несколько), которые "стоят" возле самых
интересных найденных экспонатов и зазывают других туристов (из шаровой/
прямогольной окрестности), причем чем больше туристов пришло, тем
громче говорит гид (увеличивается размер окрестности). Если коротко,
то как-то так :)

Причем идея с гидами мне очень даже нравится интересная и
оригинальная. Можно сделать так, что не все туристы будут толпиться
возле одного гида, а часть будет исследовать музей. Если к гиду
перестали подходить туристы, то он перемещается к другому экспонату
(ближайшему самому интересному). Т.е. реализуется поочередное
исследование найденных наиболее интересных областей в пространстве
поиска. Попутно еще возникла аналогия с археологами на раскопках
какого-нибудь древнего города. Оказывается много идей еще осталось :)

Ilya Loshchilov

unread,
Jun 17, 2010, 9:44:59 PM6/17/10
to ec...@googlegroups.com
:-) да, даже туристический алгоритм имеет право на жизнь :) в исследованиях опять же надо сохранять разнообразие (порою даже безобразие :), иначе интересные алгоритмы умирают не развившись от слов "ну ты сравни свои выдумки с нормальными работами" ;-)

18 июня 2010 г. 5:15 пользователь yury...@gmail.com <yury...@gmail.com> написал:

Ilya Loshchilov

unread,
Jul 17, 2010, 3:15:00 PM7/17/10
to ec...@googlegroups.com
в нидерландах вроде самые крупные журналы по АИ в европе/мире, там же и амбиции создать "идеальный" язык
"Тем не менее, уровень развития систем распознавания речи пока не позволяет использовать для этих целей родные языки жителей разных стран"
в это я поверить не могу, т.е. что текст не распознается, скорее текст не интерпретируется корректно, но это проблема АИ и сложности реальных языков
выход тут как и в реальной жизни, если не говоришь на родном для собеседника языке (это тот, на котором ты бе-ме, а он в своей тарелке), то выбираешь промежуточный язык (английский?), где вы оба на сравнимом уровне
ученые пока не тянут реальные языке с их богатством, поэтому предлагают гибридные языки, с которыми и мы и роботы будем на одинаково тупом уровне :-) 


18 июня 2010 г. 5:44 пользователь Ilya Loshchilov <ilya.lo...@gmail.com> написал:

yury...@gmail.com

unread,
Jul 17, 2010, 9:40:37 PM7/17/10
to Эволюционные вычисления
Вот интересно, зачем им понадобилось изобретать новый язык. Понятно,
что им нужен был язык с очень простой структурой, без исключений, но
почему бы не взять тот же эсперанто, там в грамматике всего 16 правил,
и самое главное, он уже есть :) Но это так, мысли вслух. Зато в их
искусственном языке есть интересный момент: там 4 местоимения и все
для единственного числа: (я, ты, он, она). "Они" и "мы" нет.

Ilya Loshchilov

unread,
Jul 25, 2010, 6:31:40 AM7/25/10
to ec...@googlegroups.com
я видел документальный фильм о таких проектах Darpa, там было действительно полно сложностей даже в пустыне. 50-60 км/ч может быть вполне достаточно чтобы задавить пешехода, хотя может быть выйдет хороший автопилот для дальнобойщиков. 

18 июля 2010 г. 3:40 пользователь yury...@gmail.com <yury...@gmail.com> написал:
Reply all
Reply to author
Forward
0 new messages