Нейрокомпьютерные системы 2 (стр. 6 из 18)

Спиновое стекло - вещество, у которого направления магнитных моментов различных атомов(определяемые спином электронов) беспорядочны, но всегда фиксированы.

Линейно разделимый класс - класс входных стимулов, у которого область значений рецепторов, продуцирующих превышение порогового значения постсиноптического потенциала, отделяется обобщенной плоскостью ( в случае 2 рецепторов - прямой линией).

Ассоциативная память

Если хранимые в сети образцы являются аттракторами, она может использоваться как ассоциативная память. Любой пример, находящийся в области притяжения хранимого образца, может быть использован как указатель для его восстановления.

Ассоциативная память обычно работает в двух режимах: хранения и восстановления. В режиме хранения веса связей в сети определяются так, чтобы аттракторы запомнили набор p n-мерных образцов {x1, x2,..., xp), которые должны быть сохранены. Во втором режиме входной пример используется как начальное состояние сети, и далее сеть эволюционирует согласно своей динамике. Выходной образец устанавливается, когда сеть достигает равновесия.

Сколько примеров могут быть сохранены в сети с n бинарными элементами? Другими словами, какова емкость памяти сети? Она конечна, так как сеть с n бинарными элементами имеет максимально 2n различных состояний, и не все из них являются аттракторами. Более того, не все аттракторы могут хранить полезные образцы. Ложные аттракторы могут также хранить образцы, но они отличаются от примеров обучающей выборки. Показано, что максимальное число случайных образцов, которые может хранить сеть Хопфилда, составляет Pmax ( 0.15 n). Когда число сохраняемых образцов p ( 0.15 n, достигается наиболее успешный вызов данных из памяти. Если запоминаемые образцы представлены ортогональными векторами (в отличие от случайных), то количество сохраненных в памяти образцов будет увеличиваться. Число ложных аттракторов возрастает, когда p достигает емкости сети. Несколько правил обучения предложено для увеличения емкости памяти сети Хопфилда. Заметим, что в сети для хранения p n-битных примеров требуется реализовать 2n связей.

Минимизация энергии

Сеть Хопфилда эволюционирует в направлении уменьшения своей энергии. Это позволяет решать комбинаторные задачи оптимизации, если они могут быть сформулированы как задачи минимизации энергии. В частности, подобным способом может быть сформулирована задача коммивояжера.

Тема 4. Многослойные ИНС.

Первые нейросистемы

Рис. 6 Перцептрон Розенблатта

Идея построения автомата на основе пороговых элементов, подобных нервным клеткам, способного выполнять логические функции, была высказана более полувека назад Мак-Каллоком и Питтсом. Однако задача проектирования систем на основе пороговых элементов оказалась чрезвычайно трудной, и ее решение, найденное лишь спустя 20 лет, оказалось настолько сложным, что практически исключало возможность синтеза автоматов, содержащих более десятка нейронов. Поэтому уже первые попытки практической реализации таких автоматов были связаны с поиском методов их обучения по аналогии с нервной системой живых организмов.

Обучаемые системы на основе пороговых элементов получили название искусственных нейронных сетей (ИНС). Первые работоспособные ИНС были созданы уже в конце 50-х годов

- перцептрон Ф.Розенблатта,

- "Адалин" В.Уидроу

- и система "Альфа" А.Г.Ивахненко.

К концу 60-х в США действовало несколько экспериментальных моделей ИНС. Первые крупные перцептроны на основе аналоговой и цифровой техники ("Адам-А" и "Адам-Д") за пределами США были созданы в 1969-71 гг. нами в одном из киевских НИИ.

Схема простейшего перцептрона Розенблатта изображена на рис.6. Он содержит три слоя пороговых элементов. Входные сигналы (стимулы), воздействуя на рецепторы (S-элементы), переводят их в возбужденное состояние. S-элементы случайным образом связаны с совокупностью ассоциативных нейронов (А-элементов). Выход А-элемента отличается от нуля только тогда, когда возбуждено достаточно большое число связанных с ним рецепторов. Реакции А-элементов поступают на входы эффекторов (R-элементов) через связи, вес которых изменяется при обучении. В эффекторах вычисляется постсинаптический потенциал - взвешенная сумма поступивших сигналов. Обычно в перцептроне для каждого запоминаемого образа выделяется один эффектор, и решение принимается по максимуму значения постсинаптического потенциала.

Свойственная перцептрону Розенблатта неоднородность структуры (разделение на S-, A- и R-элементы) в более позднихмоделях ИНС утрачивается.

Стандартизуется и модель искусственного нейрона. Нейрон имеет множество входов (синапсов) и единственный выход (аксон), разветвления которого достигают синапсов других нейронов. Выход нейрона принимает значение +1, если постсинаптический потенциал превышает заданный извне порог, или -1 - в противоположном случае. В некоторых моделях ИНС допускаются аналоговые значения выхода в диапазоне (+1,-1) или (+1,0).Такие нейроны действуют как линейные элементы при малых значениях постсинаптического потенциала и как пороговые - при больших.

Рис.7. Многослойная нейронная сеть

Большинство современных ИНС имеют многослойную структуру, изображенную на рис.7. Слой рецепторов воспринимает внешние стимулы (например, элементы изображения), а слой эффекторных нейронов образует выход сети. Между этимислоями располагаются скрытые слои нейронов, не имеющих прямой связи с внешним миром. Нейроны соседних слоев соединены проекционными связями, передающими возбуждение в направлении от рецепторов к эффекторам. Наряду с такими восходящими (афферентными) связями в некоторых моделях могут присутствовать возвратные (эфферентные) связи, действующие в обратном направлении, а также горизонтальные (латеральные), соединяющие нейроны одного слоя.

Нейропарадигмы

Поведение ИНС определяется структурой межнейронных связей, весами синаптических входов и величиной порогов нейронов. Даже в небольших сетях, содержащих несколько десятков нейронов, учесть взаимное влияние этих факторов практически невозможно. Поэтому начиная с перцептрона основное внимание создателей ИНС уделялось разработке и совершенствованию методов их обучения. Из-за отсутствия надежной теории обучения эти разработки носили в основном эвристический характер и получили название нейропарадигм. В табл. 3 приведены 10 наиболее известных сегодня нейропарадигм.

Наиболее известные нейропарадигмы Табл.3

Название нейропарадигмы	Авторы	Год разработки	Основные области применения
Адалин, Мадалин	B. Widrow	1960	Адаптивные модемы и эквалайзеры в телефонии
Метод адаптивного резонанса	G. Carpenter, S. Grossberg	1968	Распознавание образов, особенно если они непривычны для человека (сигналы радара, сонара)
Обратного распространения ошибки (back propagation)	P. Werbos, D. Parker, D. Rumelhardt	1974	Синтез речи, адаптивный контроль движения роботов, оценка эфективности капиталовложений
Неокогнитрон	K. Fucushima	1978	Распознавание рукописного текста, иероглифов
Карта Кохонена	T. Kohonen	1980	Проектирование одной области на другую
Сеть Хопфилда	J. Hopfield	1982	Поиск и восстановление данных по их фрагментам
Двусторонняя ассоциативная память	B. Kosko	1985	Контекстно-адресованная асcоциативная память
Машина Больцмана	J. Hinton, T. Sejnovsky, H. Szu	1985	Распознавание изображений, сигналов радара, сонара
Встречного распространения	R. Hecht-Nielsen	1986	Сжатие данных, оценка эфективности капиталовложений

Не останавливаясь на рассмотрении отдельных нейропарадигм (многие из них описаны в книге Ф.Уоссермена), отметим, что их можно разделить на два типа:

-итеративные, следующие правилам модификации веса синапсов, которые предложены в конце 50-х годов биологом Хеббом .

-неитеративные, исходящие из аналогии между нейронной сетью и спиновым стеклом - физической моделью мультистабильной системы (что это такое - будет объяснено чуть ниже).

Итеративные парадигмы

Подавляющее большинство нейропарадигм относится к первому типу. Процесс обучения состоит в коррекции веса межнейронных связей поочередно для каждой запоминаемой пары стимул-реакция. Период, в течение которого выполняются коррекции для всего множества пар, называют эпохой. Процесс обучения может занимать от нескольких десятков до многих тысяч эпох. Перед началом обучения синаптические веса имеют некоторые случайные значения. При вводе запоминаемого стимула появляется определенная реакция нейронов рецепторного слоя. Когда образующаяся волна возбуждения достигает эффекторов, находят величину ошибки - разности между полученным и желаемым значением реакции нейросети. Значение ошибки используется для корректировки веса связей, которая состоит в небольшом (обычно менее 1%) увеличении синаптического веса тех связей, которые усиливают правильные реакции, и уменьшении тех, что способствуют ошибочным.

Данное правило оказывается достаточно эффективным для простейших нейросетей, не содержащих скрытых нейронов (элементарный перцептрон, Адалин). Однако такие нейросети способны распознавать лишь узкий класс линейно разделимых стимулов.