{Эволюционные вычисления} : Review - комментарии

[ilya.lo...@gmail.com]

Начну с одно своего замечания.
На статью "A Mono Surrogate for Multiobjective Optimization"

Сомнения вызывают соотношение сложности алгоритма (новый вариант SVM +
куча формул в аннексе) и конечное ускорение (speedup) в 2-3 раза
только на некоторых задачах (простых ZDT) + похоже повышение
вероятности преждевременной сходимости ?
MOEA + суррогатные модели показывают схожие результаты на проблемах
ZDT за 1000 расчетов ЦФ.

Краткий ответ автора:
Статья состоит из двух модулей - суррогатная модель и ее применение. В
данной статье модель применяется для фильтрации потенциальный
решений / потомков, и поскольку потомки обычно находятся в
относительной близости от родители, то максимальный speedup ограничен.
Использование процедуры фильтрации предусмотрено для сложных задач,
когда мы не можем быть так удачливы иметь достаточно точную
суррогатную модель вдали от текущих обучающих примеров (что мы имеем
для таких простых задач как ZDT).

[yury...@gmail.com]

Статья "A Mono Surrogate for Multiobjective Optimization"

На самом деле, хорошая статья, довольно интересная идея (применение
SVM для того, чтобы аппроксимировать целевую функцию, причем не по
значениям, а для принятия решения для селекции). Поскольку получены
начальные результаты, то нужно проводить дополнительные исследования,
но в статье это и отмечается. Библиография хорошая.

- раздел 2.2, 2-й абзац, 7-я строка снизу: говорится о выпуклой
оболочке, разделяющей границу Парето и доминируемые альтернативы, хотя
на самом деле это не всегда так так, да и на рисунке 2b оболочка --
невыпуклая.
- раздел 2.2, 2-й абзац, последнее предложение: делается предположение
о свойствах границы Парето, а потом отмечается, что подобное
наблюдается для многих бенчмарков. Каверзный вопрос: а что было
раньше, предположение, а потом "и в бенчмарках так же", или сначала
бенчмарки, а потом "а давайте сделаем допущение"? ;)
- еще мне не очень понравилось выражение "One-class Support Vector
Machine", т.к. меньше двух классов быть не может: даже если класс
вроде как один, то SVM все равно будет делить пространство на "класс
А" и "не класс А" (что можно рассматривать, как "класс B").
- правильно ли я понимаю, что многокритериальность используется
только, чтобы обновить модель, а при работе самого алгоритма
учитывается только выход SVM, т.е. по сути алгоритм становится
однокритериальным? По крайней мере изучение алгоритмов 2-4 наталкивает
на такие мысли.
- еще из рекомендаций: посмотри на подход машины релевантных векторов
(http://www.miketipping.com/index.php?page=rvm). Говорят, что хорошая
штука, идея похожа: выбирается ряд опорных векторов, и по ним строится
граница между классами. Ключевая разница в способе выбора таких
векторов, и плюс еще что-нибудь (честно говоря, не читал...).

On 18 июл, 04:13, "ilya.loshchi...@gmail.com"

[Ilya Loshchilov]

Спасибо за отзыв, попытаюсь ответить на комментарии.
 

- раздел 2.2, 2-й абзац, 7-я строка снизу: говорится о выпуклой
оболочке, разделяющей границу Парето и доминируемые альтернативы, хотя
на самом деле это не всегда так так, да и на рисунке 2b оболочка --
невыпуклая.

такое же замечание было в ревьюве, мы искали альтернативу "convex hull", но так и не внесли изменения в конечную версию статьи 

 

- раздел 2.2, 2-й абзац, последнее предложение: делается предположение
о свойствах границы Парето, а потом отмечается, что подобное
наблюдается для многих бенчмарков. Каверзный вопрос: а что было
раньше, предположение, а потом "и в бенчмарках так же", или сначала
бенчмарки, а потом "а давайте сделаем допущение"? ;)

Например, если мы имеем мультимодальный Парето фронт, то алгоритм тоже будет работать, но для этого следует использовать соответствующие бенчмарки и вести разговор о том, насколько это будет эффективно на них. Упрощенный случай нужен для того, чтобы не путать дополнительно: стандартные EMOA недостаточно эффективны на мультимодальных проблемах и если мы подключим метамодель, это принципиально не улучшит алгоритм, а лишь ускорит его сходимость. Поэтому мы делаем допущение в сторону случая, с которым работают основные бенчмарки и EMOA.

 

- еще мне не очень понравилось выражение "One-class Support Vector
Machine", т.к. меньше двух классов быть не может: даже если класс
вроде как один, то SVM все равно будет делить пространство на "класс
А" и "не класс А" (что можно рассматривать, как "класс B").

One-Class SVM это общепринятое название (хотя есть альтернативы) и класс действительно всего один - все представители обучающей выборки. Второго класса нет, потому что нет ни одного его представителя в обучающей выборке и формулировке проблемы.

 

- правильно ли я понимаю, что многокритериальность используется
только, чтобы обновить модель, а при работе самого алгоритма
учитывается только выход SVM, т.е. по сути алгоритм становится
однокритериальным? По крайней мере изучение алгоритмов 2-4 наталкивает
на такие мысли.

Многокритериальность используется чтобы обновить модель и ее единственный агрегированный критерий качества используется для фильтрации особей, что изменяет только процедуру генерации потомка, но алгоритм остается как и раньше многоцелевым.

- еще из рекомендаций: посмотри на подход машины релевантных векторов
(http://www.miketipping.com/index.php?page=rvm). Говорят, что хорошая
штука, идея похожа: выбирается ряд опорных векторов, и по ним строится
граница между классами. Ключевая разница в способе выбора таких
векторов, и плюс еще что-нибудь (честно говоря, не читал...).

Есть две главные проблемы с этим всем - проблема построения модели и ее использования. Если построить достаточно точную глобальную модель несложно, то с ее использованием много проблем, прежде всего из-за отсутствия возможности поддержания разнообразия. Разнообразие можно поддержать в пространстве переменных, но это не гарантирует хорошего разнообразия в пространстве целей даже для проблем ZDT. Пока я склоняюсь к тому, что суррогаты по каждой из целей более эффективны, но в этом направлении все ясно, глобальные же модели могут быть интересны для manyobjective случая и регрессии индикаторов качества.

Спасибо за комментарии, Юрий :-)

 

On 18 июл, 04:13, "ilya.loshchi...@gmail.com"

<ilya.loshchi...@gmail.com> wrote:
> Начну с одно своего замечания.
> На статью "A Mono Surrogate for Multiobjective Optimization"
>
> Сомнения вызывают соотношение сложности алгоритма (новый вариант SVM +
> куча формул в аннексе) и конечное ускорение (speedup) в 2-3 раза
> только на некоторых задачах (простых ZDT) + похоже повышение
> вероятности преждевременной сходимости ?
> MOEA + суррогатные модели показывают схожие результаты на проблемах
> ZDT за 1000 расчетов ЦФ.
>
> Краткий ответ автора:
> Статья состоит из двух модулей - суррогатная модель и ее применение. В
> данной статье модель применяется для фильтрации потенциальный
> решений / потомков, и поскольку потомки обычно находятся в
> относительной близости от родители, то максимальный speedup ограничен.
> Использование процедуры фильтрации предусмотрено для сложных задач,
> когда мы не можем быть так удачливы иметь достаточно точную
> суррогатную модель вдали от текущих обучающих примеров (что мы имеем
> для таких простых задач как ZDT).

--
Вы получили это сообщение, поскольку подписаны на группу Эволюционные вычисления.

Чтобы добавлять сообщения в эту группу, отправьте письмо по адресу ec...@googlegroups.com.
Чтобы отменить подписку на эту группу, отправьте сообщение по адресу ecetc+un...@googlegroups.com.
О дополнительных функциях можно узнать в группе по адресу http://groups.google.com/group/ecetc?hl=ru.

[Ilya Loshchilov]

Я уделяю внимание SVM, потому что я использую SVM в своих работах для построения суррогатных моделей в задачах оптимизации. Rank SVM в частности показывает хорошие результаты для одноцелевых задач (http://hal.archives-ouvertes.fr/docs/00/49/39/21/PDF/ACM-ES.pdf), в настоящий момент мы расширяем этот подход для многоцелевого случая.

"SVM - хорошо раскрученная реклама деятельности Вапника в штатах" - я думаю, это неуместное определение, тем более что с Вапником с середины 90х SVM ассоциируют в основном в исторических целях.

Преимущества и недостатки SVM, сравнительный анализ - тема отдельной дискуссии, и нет никаких религиозных оснований полагать, что SVM - это лучший подход. Популярность можно косвенно оценить например по числу работ в NIPS по SVM и NN за последние годы.

18 июля 2010 г. 14:58 пользователь vyatcheslav duke <vyatches...@gmail.com> написал:

Уважаемые коллеги!

Я может быть не совсем в курсе, но мне не ясно, почему вы такое
внимание уделяете SVM? Это из-за того, что в статье описывается
применение SVM?

На мой взгляд, SVM - хорошо раскрученная реклама деятельности Вапника
в штатах )  На поверку, когда мы имеем дело с реальными задачами, SVM,
как правило, проигрывает ансамблям так называемых "слабых"
классификаторов, которые могут использовать различные подходы вплоть
до наивного Байеса )

Может быть, я не на то обратил внимание ... Тогда прошу меня извинить
за вторжение в дискуссию.

С уважением,
Вячеслав Дюк

/www.vduke.spb.ru




18 июля 2010 г. 14:39 пользователь Ilya Loshchilov
<ilya.lo...@gmail.com> написал:

[vyatcheslav duke]

Мне, почему-то подумалось, что Вы усложняете сущности. Термины, ссылки
на авторитетов ... может, это лишнее?

С уважением,
Вячеслав Дюк

/www.vduke.spb.ru

18 июля 2010 г. 16:25 пользователь Ilya Loshchilov

[Ilya Loshchilov]

Я не знаю почему Вы так решили. Ссылку я дал на свою же статью, термины в большинстве своем общепринятые в области.  

18 июля 2010 г. 17:04 пользователь vyatcheslav duke <vyatches...@gmail.com> написал:

[vyatcheslav duke]

Ну, значит, не Вы усложняете, а в статье. Вообще в нашем
деле,по-видимому, очень важны практические примеры с выложенными
исходными данными.

Правда, я не знаю, как там это принято в области приложений
генетических алгоритмов ... Но в любом случае, мне как-то не очень
нравится, когда звучат ссылки на авторитетов (если только это не
обусловлено абсолютной необходимостью)

С уважением,
Вячеслав Дюк

/www.vduke.spb.ru

18 июля 2010 г. 17:30 пользователь Ilya Loshchilov

[Ilya Loshchilov]

Понятно.

Однако благодаря "сложностям" матыги уходят в прошлое. Кроме того есть два основных варианта цитирования материала - цитировать себя любимого, либо цитировать материалы, которые необходимы для построения вашей работы, такие материалы как правило внесли значительный вклад в область исследования, поэтому их авторы более или менее известны. 

18 июля 2010 г. 17:38 пользователь vyatcheslav duke <vyatches...@gmail.com> написал: