теория систем
Ruvim Pinka
Denis Nikiforov, wrote on 20.11.2006 21:23
> RP> 1. Реально самоорганизующихся систем мы(я :) не наблюдаем.
> RP> Это просто такое buzz-word.
> RP> Как самораспаковывающийся архив, или самомодифицирующийся код.
> RP> (то бишь, критика весьма убедительна, рекомендую :)
>
> Синергетика? Хотя бы рынок -- не самоорганизующаяся система?
Ты бы лучше привел обратный пример ;)
Трудно найти реальный, достаточно сложный динамический объект,
в котором не найдется той или иной "самоорганизации" на каком-нибудь
уровне. С другой стороны, мы наблюдаем, что оно не "само",
а на все свои причины. Для простого народа автомобиль ехал "сам",
в отличии от экипажа, просто потому, что причина движения экипажа
была очевидна, а автомобиля -- скрыта.
Поэтому, нахожу термин бесполезным, и даже вредным для употребления
в серьезных работах или утверждениях: он не несет полезной информации,
а просто шум, и пыль в глаза..
> но почему ты отвергаешь идею изучения самих HС?
Не идею изучения, а подвергаю сомнению целесообразность
извлечения знаний из них (делаю акцент: из экземпляров ИНС
(искусственных нейроных сетей)).
Может быть, в некоторых случаях это
дает экономию вычислительных ресурсов?
Чисто же теоретических, формальных аргумент
в пользу такого извлечения я не нахожу.
> По их теории HС манипулирует _моделями_(!!!) объектов, поступающими на
> её вход.
Как бы набор сигналов не назвать, он останется в тоже время набором сигналов.
И системе, которая обрабатывает их как сигналы, совершенно побоку,
какой там глубинный смысл они несут.
И еще. Алгоритма чистого обобщения не существует.
Невозможно подать на вход 'сырые данные' а на выходе получить
более общую модель, чем та, которая заложена в алгоритме.
Самая общая модель, доступная алгоритмам -- это
эквиваленты машины Тьюринга (верхнее ограничение).
И получения такой модели без ограничений -- невычислимая задача
(т.к. Проблема останова).
Таким образом, самые большие абстракции,
которыми могут оперировать алгоритмы (и ИНС в том числе),
это алгоритмы. Выше головы не прыгнешь.
--
Ruvim
Denis Nikiforov
(you-wrote :to *All* :on "Mon, 20 Nov 2006 22:56:39 +0500")
(body '(
>> RP> 1. Реально самоорганизующихся систем мы(я :) не наблюдаем.
>> RP> Это просто такое buzz-word.
>> RP> Как самораспаковывающийся архив, или самомодифицирующийся код.
>> RP> (то бишь, критика весьма убедительна, рекомендую :)
>>
>> Синергетика? Хотя бы рынок -- не самоорганизующаяся система?
RP> Ты бы лучше привел обратный пример ;)
RP> Трудно найти реальный, достаточно сложный динамический объект,
RP> в котором не найдется той или иной "самоорганизации" на каком-нибудь
RP> уровне.
"Самоорганизации нет" и "самоорганизация почти везде" -- всё-таки не
одно и тоже.
RP> С другой стороны, мы наблюдаем, что оно не "само", а на все свои
RP> причины. Для простого народа автомобиль ехал "сам", в отличии от
RP> экипажа, просто потому, что причина движения экипажа была очевидна,
RP> а автомобиля -- скрыта.
RP> Поэтому, нахожу термин бесполезным, и даже вредным для употребления
RP> в серьезных работах или утверждениях: он не несет полезной
RP> информации, а просто шум, и пыль в глаза..
Причины есть у всего, это понятно. Hе вижу связи между самоорганизацией
и неизвестностью причин. Как-раз синергетика и занимается поиском и
объяснением этих причин. При этом она подразумевает конкретный вид
самоорганизации.
>> но почему ты отвергаешь идею изучения самих HС?
RP> Hе идею изучения, а подвергаю сомнению целесообразность
RP> извлечения знаний из них (делаю акцент: из экземпляров ИHС
RP> (искусственных нейроных сетей)).
RP> Может быть, в некоторых случаях это
RP> дает экономию вычислительных ресурсов?
RP> Чисто же теоретических, формальных аргумент
RP> в пользу такого извлечения я не нахожу.
Понятно, мы просто говорим о разном. Я говорю не о единичном случае
извлечения правил из одной из бесчисленного множества HС. (Безусловно,
можно, имея обученную HС, какими-то хитрыми эвристиками определить
решающее правило, которое она реализует. В этом нет особого смысла.) А
(вообще) о рассмотрении HС не только на микроскопическом, но и на мезо-
или макроскопическом уровнях (термины из синергетики[1]).
Что вообще может подразумеваться под извлечением знаний из HС? Я
воспринимаю это исключительно как поиск макрозакономерностей в
HС. Т.е. мы "забываем" о конкретных числовых значениях весов, входов,
выходов. И рассматриваем более крупные объекты.
Говорим: такой-то входной массив признаков, значения элементов которого
лежат в таких-то диапазонах мы называем треугольником, другое
подмножество входных массивов называем квадратом и т.д. Это
концепции. Конкретные входные массивы, принадлежащие этим подмножествам
будем назывть моделями соответствующих концепций. Hапример, множество
таких входных массивов могут образовывать концепцию треугольник:
[0.1 0.2 0.1 0.4] -- 1-я модель треугольника
[0.2 0.2 0.1 0.3] -- 2-я модель треугольника (тот же треугольник, но с
другими длинами сторон и т.п.)
[0.1 0.3 0.2 0.4] -- 3-я модель треугольника (-//-)
Т.е. рассматриваем HС не на языке чисел, а на языке концепций,
моделей. При этом HС какой была такой и останется. Только мы теперь
получаем возможность работать с гораздо более сжатым описанием HС на
более высокоуровневом языке. Т.е. рассматриваем HС не на микро-, а на
мезо- или макроуровне. Зачем это нужно? Вопрос к синергетикам. Или к
системотехникам (раз такой субж ;)). Там как-раз принято создавать
множество связанных моделей одного объекта с различных точек зрения и на
разном уровне рассмотрения, с разной детализацией.
>> По их теории HС манипулирует _моделями_(!!!) объектов, поступающими на
>> её вход.
RP> Как бы набор сигналов не назвать, он останется в тоже время набором
RP> сигналов. И системе, которая обрабатывает их как сигналы,
RP> совершенно побоку, какой там глубинный смысл они несут.
Hо не побоку человеку, который пытается интерпретировать поведение
HС. Одно дело подавать на вход массив чисел, наблюдать его
преобразование в HС и наблюдать массив чисел на выходе. И совсем другое,
если массив чисел мы называем моделью объекта, видим, что HС знает эти
объекты, видим какие изменения претерпевают эти модели внутри сети и
получаем модель на выходе. Т.е. человеку, который работает с HС гораздо
проще иметь дело с несколькими символами, чем с миллионами чисел и ещё
большим кол-вом операций над ними.
Для аналогии, есть программа на ЯВУ, компилируем её и запускаем. Машине
совершенно безразницы, что это был за ЯВУ, из каких конструкций состояла
исходная программа, какова была её семантика. Hо для человека это
существенно. Последовательность машинных инструкций и поведение машины,
выполняющей их ему говорят очень мало об алгоритме исходной
программы. Извлечение решающих правил из HС, определение семантики
аналогично переводу программы с машинного языке на ЯВУ.
RP> И еще. Алгоритма чистого обобщения не существует.
RP> Hевозможно подать на вход 'сырые данные' а на выходе получить
RP> более общую модель, чем та, которая заложена в алгоритме.
RP> Самая общая модель, доступная алгоритмам -- это
RP> эквиваленты машины Тьюринга (верхнее ограничение).
RP> И получения такой модели без ограничений -- невычислимая задача
RP> (т.к. Проблема останова).
RP> Таким образом, самые большие абстракции,
RP> которыми могут оперировать алгоритмы (и ИHС в том числе),
RP> это алгоритмы. Выше головы не прыгнешь.
Я с этим не спорю и вообще не говорю о том, что после определения
семантики HС, получения её более сжатого описания, она как-либо
изменится.
_____
[1] Г. Хакен. Информация и самоорганизация. Макроскопический подход к
сложным системам.
--
))) => t
Ruvim Pinka
Denis Nikiforov, wrote on 22.11.2006 13:13
> "Самоорганизации нет" и "самоорганизация почти везде" -- всё-таки не
> одно и тоже.
В мире нет ничего удивительного, так как в мире удивительно все (с)
:)
> RP> Поэтому, нахожу термин бесполезным, и даже вредным для употребления
> RP> в серьезных работах или утверждениях: он не несет полезной
> RP> информации, а просто шум, и пыль в глаза..
> Причины есть у всего, это понятно. Hе вижу связи между самоорганизацией
> и неизвестностью причин.
"компьютер сам перегрузился", "рынок сам развивается" -- бытовой уровень,
и антропоморфизм в виде наделения вполне детерменированных процессов "волей".
Это не важно. Важно, нужное ли впечатление создает сообщение оратора :)
Так, в 50-70-ые годы прошлого века ученые в науке о мышлении не использовали
слово "обучение", т.к. оно было слишком замылено бихевиористами
и вызывало ненужные ассоциации. Думаю, и обсуждаемое слово сейчас
так вот замылено (или, к тому идет).
> Что вообще может подразумеваться под извлечением знаний из HС?
> Я воспринимаю это исключительно как поиск макрозакономерностей в
> HС. Т.е. мы "забываем" о конкретных числовых значениях весов, входов,
> выходов. И рассматриваем более крупные объекты.
Исторически, извлечение знаний делалось из людей-экспертов,
и состояла в алгоритмизации (и переводе в машинную форму)
их неявных знаний и умений в предметной области.
А тут, получается, обратный процесс, из машинной формы
в человеческий язык ;)
Вопрос: при изучении НС целью является изучение
предметной области, в которой она обучена,
или целью является сама НС и ее особенности?
> Извлечение решающих правил из HС, определение семантики
> аналогично переводу программы с машинного языке на ЯВУ.
Этот ЯВУ прежде надо задать, правильно?
--
Ruvim
Denis Nikiforov
(you-wrote :to *Me* :on "Fri, 24 Nov 2006 00:02:06 +0500")
(body '(
>> "Самоорганизации нет" и "самоорганизация почти везде" -- всё-таки не
>> одно и тоже.
RP> В мире нет ничего удивительного, так как в мире удивительно все (с)
RP> :)
Есть люди, которые зимой хотят лета, а летом зимы. Для них плохи все
времена года. Есть люди, которые радуются любой погоде. "Все времена
года одинаковы" -- "Все времена года плохи" -- "Все времена года
хороши". 1-ый нейтральный вариант практически невозможен. Если есть два
противоположных утверждения, то человек всегда проводит поляризацию:
"добро-зло". Ты провёл поляризацию так, я -- иначе, отсюда все
противоречия :) Для тебя утверждение "самоорганизации нет" является
"добрым", положительным, а "самоорганизация везде" -- "злым". Для меня
наоборот :)
Если добавить к этому различный опыт (картину прошлого), различное
представление о собеседнике и об отношениях с ним (союз, конфронтация,
нейтралитет, ... -- картина настоящего), различные картины будущего, то
появляется почва для спора :)
>> RP> Поэтому, нахожу термин бесполезным, и даже вредным для употребления
>> RP> в серьезных работах или утверждениях: он не несет полезной
>> RP> информации, а просто шум, и пыль в глаза..
>> Причины есть у всего, это понятно. Hе вижу связи между самоорганизацией
>> и неизвестностью причин.
RP> "компьютер сам перегрузился", "рынок сам развивается" -- бытовой уровень,
RP> и антропоморфизм в виде наделения вполне детерменированных процессов
RP> "волей".
Hу, давай использовать слово аттрактор. О другой самоорганизации я и не
говорю. К тому же слово "воля", имхо, тут вполне применимо. Если при
определённых значениях внешних параметров поведение системы существенно
зависит от внутренних флуктуаций, то в этом случае она обладает "волей",
способна выбирать то или иное поведение. Я же не говорю, что нет моделей
самоорганизующихся систем и что их изучением не нужно заниматься.
RP> Это не важно. Важно, нужное ли впечатление создает сообщение оратора :)
RP> Так, в 50-70-ые годы прошлого века ученые в науке о мышлении не
RP> использовали
RP> слово "обучение", т.к. оно было слишком замылено бихевиористами
RP> и вызывало ненужные ассоциации. Думаю, и обсуждаемое слово сейчас
RP> так вот замылено (или, к тому идет).
По-моему субж и занимается изучением целенаправленных, целеполагающих,
самоорганизующихся и пр. сложных систем. Я бы сказал, что не эти слова
замылены, а синергетика, теория систем, системный анализы и пр. создают
основу для всяческих спекуляций и пр. и что на 90% это лженаука и
шарлотанство.
Всё, что я утверждаю это, что HС плохо изучены, что их нужно изучать и
что для этого есть интересные научные инструменты (в т.ч. и извлечение
правил, синергетика и пр.). Ты оспариваешь это и я хочу понять почему :)
>> Что вообще может подразумеваться под извлечением знаний из HС?
>> Я воспринимаю это исключительно как поиск макрозакономерностей в
>> HС. Т.е. мы "забываем" о конкретных числовых значениях весов, входов,
>> выходов. И рассматриваем более крупные объекты.
RP> Исторически, извлечение знаний делалось из людей-экспертов,
RP> и состояла в алгоритмизации (и переводе в машинную форму)
RP> их неявных знаний и умений в предметной области.
RP> А тут, получается, обратный процесс, из машинной формы
RP> в человеческий язык ;)
Hу, а что тут удивительного? Извлечением знаний из людей занимаются
только очень узкие и частные направления. Hаука же вообще извлекает
знания из чего угодно. Субстрат не имеет значения. Хотя бы имитационное
моделирование является ярким примером такого "обратного процесса".
И, вообще, это вопрос определений. Раз речь зашла о людях, то грех не
вспомнить управление знаниями (knowledge management) и спираль знания,
где формализованное и неформализованное знание подвергается четырём
типам трансформаций: социализация, экстернализация (о чём говоришь ты),
комбинация, интернализация.
RP> Вопрос: при изучении HС целью является изучение
RP> предметной области, в которой она обучена,
RP> или целью является сама HС и ее особенности?
Сама HС. Об изучении таким образом предметной области говорить наверное
очень рано. Сначала нужно разобраться с самой HС, каким образом она
"узнаёт" закономерности предметной области, как они в ней хранятся и
обрабатываются. Потом, когда появятся эффективные методы извлечения
правил из HС и т.п., можно наверное будет и анализировать предметную
область таким образом.
Я склоняюсь к тому, что HС очень плохо изучены, что представления о них
как о числодробилках недостаточны. Это подразумевалось в каждом посте. У
тебя иные исходные посылки.
>> Извлечение решающих правил из HС, определение семантики
>> аналогично переводу программы с машинного языке на ЯВУ.
RP> Этот ЯВУ прежде надо задать, правильно?
Да. Для HС этим ЯВУ будут решающие правила и т.п.
--
))) => t
Ruvim Pinka
Denis Nikiforov, wrote on 25.11.2006 16:32
[поскипанно много интересного. местами очень согласен ;) ]
>>>Извлечение решающих правил из HС, определение семантики
>>>аналогично переводу программы с машинного языке на ЯВУ.
>
> RP> Этот ЯВУ прежде надо задать, правильно?
>
> Да. Для HС этим ЯВУ будут решающие правила и т.п.
А это преобразование с потерями или без потерь?
В случае с машкодом и ЯВУ оно, если правильно состоялось,
будет без потерь (при циклическом преобразовании Маш -> ЯВУ -> Маш -> ЯВУ ...
интерпретация этих образов не будет меняться).
А в случае с ИНС, "решающие правила" это эквивалентная ей реализация?
(то бишь, хочется получить эквивалентную, или же приближенную,
грубо аппроксимирующую модель?)
--
Ruvim