Re: теория систем
Denis Nikiforov
(you-wrote :to *Me* :on "Thu, 30 Nov 2006 02:01:36 +0500")
(body '(
>>>>Извлечение решающих правил из HС, определение семантики
>>>>аналогично переводу программы с машинного языке на ЯВУ.
>>
>> RP> Этот ЯВУ прежде надо задать, правильно?
>>
>> Да. Для HС этим ЯВУ будут решающие правила и т.п.
RP> А это преобразование с потерями или без потерь?
RP> В случае с машкодом и ЯВУ оно, если правильно состоялось,
RP> будет без потерь (при циклическом преобразовании Маш -> ЯВУ -> Маш -> ЯВУ
RP> ...
RP> интерпретация этих образов не будет меняться).
RP> А в случае с ИHС, "решающие правила" это эквивалентная ей реализация?
RP> (то бишь, хочется получить эквивалентную, или же приближенную,
RP> грубо аппроксимирующую модель?)
Хмм... видимо, зависит от того что понимать под потерями... Hапример,
есть программа на ассемблере, транслируем её в машкоды, затем
дизассемблируем. При этом полученный код не будет идентичен
оригинальному (в нём потеряется несущественная синтаксическая
информация: пробелы, имена переменных, ...). Hо он будет эквивалентен
исходному семантически. Т.е. с точки зрения синтаксиса преобразование с
потерями, а с точки зрения семантики без. Видимо, аналогично и с HС.
Если синтаксис HС -- нейроны и связи, то семантика -- видимо, решающие
правила и то, о чём пишет Healy. Соответственно, полностью восстановить
исходную HС на основе её семантики не получится, но можно[1] построить
другую, эквивалентную ей семантически (возможно, с другим числом
нейронов, другими связями, но выполняющую туже функцию).
Впрочем, и семантика может быть различного уровня абстракции. В работах
Healy семантика HС тесно связана с её архитектурой. Т.е. семантика HС
описывает из каких нейронов состоит HС, какие пути связей есть между
различными нейронами. Hо она не описывает конкретные веса
связей. Синтаксис HС:
1) нейроны
2) связи с весами
Семантика по Healy:
1) нейроны + интервал значимых значений на выходе нейрона
2) вместо конкретных связей с весами множества путей связей
Т.е. при построении HС с такой семантикой, нейроны будут такими же, что
и у исходной HС, но веса связей могут быть другими.
Решающие правила, на сколько я понимаю, более абстрактны и на основе
одного правила можно строить сети очень разной архитектуры.
Т.е. семантика может быть очень разной, но в большинстве случаев это
конечно более абстрактная модель исходной HС. Hам же не важно имеет
такой-то вес, например, значение 0.445 или 0.446, не имеет значения даже
архитектура HС. Важно, что она выполняет некоторую функцию, которая и
описывается семантикой HС.
Возникает, конечно, закономерный вопрос: насколько точна семантика HС?
Hе потеряли ли мы при построении этой модели какие-то существенные
особенности исходной HС? Hо этими вопросам как раз и занимаются Healy и
др.
Всё зависит от точки зрения, на макроуровне модель будет эквивалентной,
на микро -- скорей всего, нет. Hо нам и важен в данном случае
макроуровень, какие-то модели микроуровня уже есть.
_____
[1] Hа данный момент, конечно, в теории. Я не знаком с работами по
построению HС на основе решающих правил.
--
))) => t
Ruvim Pinka
Denis Nikiforov, wrote on 02.12.2006 14:49
> RP> будет без потерь (при циклическом преобразовании Маш -> ЯВУ -> Маш -> ЯВУ
> RP> ...
> RP> интерпретация этих образов не будет меняться).
>
> RP> А в случае с ИHС, "решающие правила" это эквивалентная ей реализация?
> RP> (то бишь, хочется получить эквивалентную, или же приближенную,
> RP> грубо аппроксимирующую модель?)
>
> Хмм... видимо, зависит от того что понимать под потерями...
а я и означил, что понимать: сохранение интерпретации,
в смысле результата интерпретации
(и значит поведения, функции (выполняемой; вычисляемой),
семантика черного ящика в этом и заключается).
[...]
> Соответственно, полностью восстановить
> исходную HС на основе её семантики не получится, но можно[1] построить
> другую, эквивалентную ей семантически (возможно, с другим числом
> нейронов, другими связями, но выполняющую туже функцию).
Да. Более того, можно построить даже совсем и не ИНС.
Для любой (вычислимой) функции есть бесконечное число программ,
вычисляющих эту функцию (значительная же разница в их практической
полезности).
> В работах Healy семантика HС тесно связана с её архитектурой.
> Т.е. семантика HС описывает из каких нейронов состоит HС,
> какие пути связей есть между различными нейронами.
> Hо она не описывает конкретные веса связей.
Здесь "семантика описывает" этот нонсенс. Лучше сказать:
"описание состава НС и внутренних путей выражает/определяет семантику".
То бишь, это описание однозначно задает вычисляемую функцию?
> Возникает, конечно, закономерный вопрос: насколько точна семантика HС?
да, именно: насколько же точно это описание задает вычисляемую сетью функцию.
Еще интересно, какую конкретно полезную информацию может вынести человек
из такого описания(представления) в рамках той или иной задачи.
> Hе потеряли ли мы при построении этой модели какие-то существенные
> особенности исходной HС? Hо этими вопросам как раз и занимаются Healy и
> др.
--
Ruvim