Нейрокомпьютерные системы 2 (стр. 5 из 18)

Описанная проблема не является единственной трудностью, возникающей при работе с персептронами - также слабо формализован метод обучения персептрона. Персептрон поставил ряд вопросов, работа над решением которых привела к созданию более "разумных" нейронных сетей и разработке методов, нашедших применение не только в нейрокибернетике (например, метод группового учета аргументов, применяемый для идентификации математических моделей).

Модель Хопфилда

В 70-е годы интерес к нейронным сетям значительно упал, однако работы по их исследованию продолжались. Был предложен ряд интересных разработок, таких, например, как когнитрон, способный хорошо распознавать достаточно сложные образы (иероглифы и т.п.) независимо от поворота и изменения масштаба изображения. Автором когнитрона является японский ученый И. Фукушима.

Новый виток быстрого развития моделей нейронных сетей, который начался 8-9 лет тому назад, связан с работами Амари, Андерсона, Карпентера, Кохена и других, и в особенности, Хопфилда, а также под влиянием обещающих успехов оптических технологий и зрелой фазы развития СБИС для реализации новых архитектур.

Начало современному математическому моделированию нейронных вычислений было положено работами Хопфилда в 1982 году, в которых была сформулирована математическая модель ассоциативной памяти на нейронной сети с использованием правила Хеббиана для программирования сети.

Но не столько сама модель послужила толчком к появлению работ других авторов на эту тему, сколько введенная Хопфилдом функция вычислительной энергии нейронной сети. Это аналог функции Ляпунова в динамических системах. Показано, что для однослойной нейронной сети со связями типа "все на всех" характерна сходимость к одной из конечного множества равновесных точек, которые являются локальными минимумами функции энергии, содержащей в себе всю структуру взаимосвязей в сети. Понимание такой динамики в нейронной сети было и у других исследователей. Однако, Хопфилд и Тэнк показали как конструировать функцию энергии для конкретной оптимизационной задачи и как использовать ее для отображения задачи в нейронную сеть. Этот подход получил развитие и для решения других комбинаторных оптимизационных задач. Привлекательность подхода Хопфилда состоит в том, что нейронная сеть для конкретной задачи может быть запрограммирована без обучающих итераций. Веса связей вычисляются на основании вида функции энергии, сконструированной для этой задачи.

Развитием модели Хопфилда для решения комбинаторных оптимизационных задач и задач искусственного интеллекта является машина Больцмана, предложенная и исследованная Джефери Е. Хинтоном и Р.Земелом.

В ней, как и в других моделях, нейрон имеет состояния 1, 0 и связь между нейронами обладает весом. Каждое состояние сети характеризуется определенным значением функции консенсуса (аналог функции энергии). Максимум функции консенсуса соответствует оптимальному решению задачи.

Имеется следующая информация о результатах моделирования на ЭВМ работы нейронной сети. Моделировалась асинхронная работа сети Хопфилда. Сеть работает хорошо, т.е. без ошибок восстанавливает эталонные образы из случайных, если в нее записывается не более 15 % эталонных образов. Испытания проводились для 30 нейронов и для 100 нейронов в сети. Бралось некоторое количество случайных векторов в качестве эталонных и строилась соответствующая матрица весов связей. Моделирование при 100 нейронах было существенно более медленным процессам, чем при 30 нейронах, хотя качественная картина и в том и в другом случаях была одна и та же. Приблизительно 88 % испытаний заканчивались в эталонных состояниях, 10 % - в устойчивых состояниях, близких к эталонным. При расстоянии <=5 между начальным и эталонным векторами, эталонное состояние достигалось в 90 % случаев. С увеличением расстояния, вероятность попадания в наиболее близкое эталонное состояние гладко падала.

При расстоянии 12 вероятность была равна 0.2. Устойчивые состояния, слишком близкие друг к другу, имеют тенденцию "сливаться", они попадают в одну впадину на энергетической поверхности. Программировалась задача коммивояжера на основе сети Хопфилда. Сетью из 100 нейронов для 20 различных случайных начальных состояний были определены маршруты, 16 из которых были приемлемыми, 50% попыток дали 2 пути 2.83 и 2.71 (цифры приводятся, чтобы показать как они близки) при кратчайшем 2.67. Это результаты моделирования работы сети с непрерывной моделью нейрона. Моделировалась также задача коммивояжера, но для сети типа машина Больцмана, проводилась при следующих значениях управляющих параметров: A = 0.95, L

= 10, M = 100 (A - положительное число меньше единицы, но близкое к ней, L - число испытаний, которые проводятся без изменений, M - число последовательных испытаний, не приводящих к изменению состояния машины, как критерия завершения процесса). Процесс запускался 100 раз для n = 10 всего в сети N = n^2 нейронов) и 25 раз для n = 30 при различных нормальных состояниях машины Больцмана.

Для n = 10 получился оптимальный результат, для n = 30 - решение

на 14 % хуже оптимального. Отметим, что вероятностный механизм функционирования машины Больцмана дает возможность получить на ней несколько лучшие результаты оптимизации, чем на модели Хопфилда.

Нейропарадигмы неитеративного типа являются развитием концепции сети Д.Хопфилда, основанной на сходстве полносвязной нейронной сети со спиновым стеклом - мультиустойчивой системой, которая, будучи выведена из состояния равновесия, совершает колебания, завершающиеся переходом (конвергенцией) в ближайшее устойчивое состояние (атрактор), отвечающее минимуму потенциальной энергии. Проводя аналогию между атракторами спинового стекла и следами памяти, Д.Хопфилд пришел к выводу, что конвергенция является аналогом ассоциативного поиска информации. Это позволило ему применить известные соотношения между значениями атракторов и силой внутренних связей спинового стекла для нахождения величины веса связей нейронной сети по заданным значениям векторов устойчивых состояний. Таким образом, сеть Хопфилда достигает того же результата, что и при обучении ИНС, минуя длительный итеративный процесс коррекции веса связей по правилам Хебба.

Д.Хопфилду удалось также показать, что предложенная модель ИНС обладает еще одним ценным качеством. При конвергенции она выполняет поиск глобального минимума энергетической функции. Устанавливая определенным образом весасвязей в начальное состояние, можно использовать это свойство сети для решения сложных оптимизационных задач. Благодаря параллельной работе нейронов такие задачи решаются намного быстрее, чем с помощью обычных ЭВМ.

Рис. 5 Нейронная сеть Хопфилда

Структура сети Хопфилда изображена на рис.5. Сеть однородна и симметрична. Она не содержит ни скрытых нейронов,ни выделенных рецепторов и эффекторов. Стимулы и реакции являются составляющими общего вектора состояния нейросети, который запоминается при обучении. При экзамене выходы нейронов, определенных как рецепторы, устанавливаются в состояние, соответствующее внешнему стимулу, тогда как выходы остальных нейронов не фиксируются. Обычно такое начальное состояние неустойчиво и сеть начинает конвергенцию в ближайший главный атрактор, соответствующий одному из запомненных ранее состояний. По завершении конвергенции состояния нейронов, которые определены как эффекторы, приобретают значения реакции на заданный стимул.

Хопфилд использовал функцию энергии как инструмент для построения рекуррентных сетей и для понимания их динамики. Формализация Хопфилда сделала ясным принцип хранения информации как динамически устойчивых аттракторов и популяризовала использование рекуррентных сетей для ассоциативной памяти и для решения комбинаторных задач оптимизации.

Динамическое изменение состояний сети может быть выполнено по крайней мере двумя способами: синхронно и асинхронно. В первом случае все элементы модифицируются одновременно на каждом временном шаге, во втором - в каждый момент времени выбирается и подвергается обработке один элемент. Этот элемент может выбираться случайно. Главное свойство энергетической функции состоит в том, что в процессе эволюции состояний сети согласно уравнению она уменьшается и достигает локального минимума (аттрактора), в котором она сохраняет постоянную энергию.

Предложенная еще в 1982 г., модель Д.Хопфилда сулила не только радикальное ускорение процесса обучения, но и открывала перспективу для создания новых параллельных вычислительных систем на основе ИНС. Однако вскоре у нее обнаружился ряд недостатков:

1.Модель Хопфилда пригодна лишь для полносвязных сетей, т.е. каждый нейрон должен иметь связи со всеми остальными нейронами сети.

2.Число запомненных состояний (образов) не может превышать 14% от числа нейронов. При приближении к этой границе появляются ложные атракторы, препятствующие конвергенции к запомненным состояниям, а также возможна потеря устойчивости. 3.Ассоциативная память ИНС не позоляет изымать или изменять ранее занесенные данные, что исключает возможность ее использования в динамическом режиме.

Поэтому, несмотря на огромные преимущества в скорости обучения, сеть Хопфилда так и не нашла применения в прикладных разработках. Среди нашедших заметное практическое применение неитеративных нейропрадигм наиболее известна двусторонняя ассоциативная память (ДАП), представляющая собой двухслойную модификацию сети Хопфилда, в которой процесс конвергенции сокращен до одной итерации.

Несколько менее известна модель ассоциативно-проективной сети, разработанная Э.Куссулем в Институте кибернетики НАН Украины. В этой модели вес связей может принимать лишь значения +1 или 0, благодаря чему достигается чрезвычайно эффективная аппаратная реализация, позволяющая создавать очень большие ИНС (десятки тысяч нейронов). Однако, как и в случае ДАП, избежать недостатков, присущих сети Хопфилда, не удается и в этой модели.