Смекни!
smekni.com

Нейрокомпьютерные системы (стр. 20 из 32)

НЕПРЕРЫВНАЯ ДАП

В предшествующем обсуждении нейроны в слоях 1 и 2 рассматривались как синхронные, каждый нейрон обладает памятью, причем все нейроны изменяют состояния одновре­менно под воздействием импульса от центральных часов. В асинхронной системе любой нейрон свободен изменять состояние в любое время, когда его вход предписывает это сделать. Кроме того, при определении функции активации нейрона использовался простой порог, тем самым образуя разрывность передаточной функции нейронов. Как синхрон­ность функционирования, так и разрывность функций, являются биологически неправдоподобными и совсем необя­зательными; непрерывные асинхронные ДАП отвергают синх­ронность и разрывность, но функционируют в основном аналогично дискретным версиям. Может показаться, что такие системы должны являться нестабильными. В [9] показано, что непрерывные ДАП являются стабильными (однако для них справедливы ограничения емкости, обсуж­денные ранее). В работах [2-5] показано, что сигмоида является оптимальной функцией активации благодаря ее способности усиливать низкоуровневые сигналы, в то же время сжимая динамический диапазон нейронов. Непрерывная ДАП может иметь сигмоидальную функцию с величиной l, близкой к единице, образуя тем самым нейроны с плавной и непре­рывной реакцией, во многом аналогичной реакции их био­логических прототипов. Непрерывная ДАП может быть реализована в виде аналоговой схемы из резисторов и усилителей. Реализация таких схем в виде СБИС кажется возможной и экономически привлекательной. Еще более обещающей является оптичес­кая реализация, рассматриваемая в гл. 9.

АДАПТИВНАЯ ДАП

В версиях ДАП, рассматриваемых до сих пор, весовая матрица вычисляется в виде суммы произведений пар век­торов. Эти вычисления полезны, поскольку они демонстри­руют функции, которые может выполнять ДАП. Однако это определенно не тот способ, посредством которого произ­водится определение весов нейронов мозга. Адаптивная ДАП изменяет свои веса в процессе функ­ционирования. Это означает, что подача на вход сети обучающего набора входных векторов заставляет ее изменять энергетическое состояние до получения резонанса. Постепенно кратковременная память превращается в долго­временную память, настраивая сеть в результате ее функ­ционирования. В процессе обучения векторы подаются на слой А, а ассоциированные векторы на слой В. Один из них или оба вектора могут быть зашумленными версиями эталона; сеть обучается исходным векторам, свободным от шума. В этом случае она извлекает сущность ассоциаций, обучаясь эталонам, хотя «видела» только зашумленные аппроксимации. Так как доказано, что непрерывная ДАП является стабильной независимо от значения весов, ожидается, что медленное изменение ее весов не должно нарушить этой стабильности. В работе [10] доказано это правило. Простейший обучающий алгоритм использует правило Хэбба [8], в котором изменение веса пропорционально уровню активации его нейрона-источника и уровню актива­ции нейрона-приемника. Символически это можно предста­вить следующим образом:

dwij=h*(OUTi OUTj), (7.5)

где dwij - изменение веса связи нейрона j с нейроном j в матрицах W или Wt; OUTi - выход нейрона j слоя 1 или 2; h - положительный нормирующий коэффициент обучения, меньший 1.

КОНКУРИРУЮЩАЯ ДАП

Во многих конкурирующих нейронных системах наблю­даются некоторые виды конкуренции между нейронами. В нейронах, обрабатывающих сигналы от сетчатки, латераль­ное торможение приводит к увеличению выхода наиболее высокоактивных нейронов за счет соседних. Такие системы увеличивают контрастность, поднимая уровень активности нейронов, подсоединенных к яркой области сетчатки, в то же время еще более ослабляя выходы нейронов, подсоеди­ненных к темным областям.

В ДАП конкуренция реализуется взаимным соединением нейронов внутри каждого слоя посредством дополнительных связей. Веса этих связей формируют другую весовую мат­рицу с положительными значениями элементов главной диагонали и отрицательными значениями остальных элемен­тов. Теорема Кохен - Гроссберга [1] показывает, что такая сеть является безусловно стабильной, если весовые мат­рицы симметричны. На практике сети обычно стабильны даже в случае отсутствия симметрии весовых матриц. Однако неизвестно, какие особенности весовых матриц могут привести к неустойчивости функционирования сети.

ЗАКЛЮЧЕНИЕ

Ограниченная емкость памяти ДАП, ложные ответы и некоторая непредсказуемость поведения привели к рас­смотрению ее как устаревшей модели искусственных ней­ронных сетей. Этот вывод определенно является преждевременным. ДАП имеет много преимуществ: она совместима с аналого­выми схемами и оптическими системами; для нее быстро сходятся как процесс обучения так, и процесс восстанов­ления информации; она имеет простую и интуитивно прив­лекательную форму функционирования. В связи с быстрым развитием теории могут быть найдены методы, объясняющие поведение ДАП и разрешающие ее проблемы.

Глава 8 Адаптивная резонансная теория

Мозг человека выполняет трудную задачу обработки непрерывного потока сенсорной информации, получаемой из окружающего мира. Из потока тривиальной информации он должен выделить жизненно важную информацию, обработать ее и, возможно, зарегистрировать в долговременной памя­ти. Понимание процесса человеческой памяти представляет собой серьезную проблему; новые образы запоминаются в такой форме, что ранее запомненные не модифицируются и не забываются. Это создает дилемму: каким образом па­мять остается пластичной, способной к восприятию новых образов, и в то же время сохраняет стабильность, гаран­тирующую, что образы не уничтожатся и не разрушатся в процессе функционирования? Традиционные искусственные нейронные сети оказа­лись не в состоянии решить проблему стабильности-пластичности. Очень часто обучение новому образу унич­тожает или изменяет результаты предшествующего обуче­ния. В некоторых случаях это не существенно. Если име­ется только фиксированный набор обучающих векторов, они могут предъявляться при обучении циклически. В сетях с обратным распространением, например, обучающие векторы подаются на вход сети последовательно до тех пор, пока сеть не обучится всему входному набору. Если, однако, полностью обученная сеть должна запомнить новый обуча­ющий вектор, он может изменить веса настолько, что потребуется полное переобучение сети. В реальной ситуации сеть будет подвергаться посто­янно изменяющимся воздействиям; она может никогда не увидеть один и тот же обучающий вектор дважды. При таких обстоятельствах сеть часто не будет обучаться; она будет непрерывно изменять свои веса, не достигая удовлетворительных результатов. Более того, в работе [1] приведены примеры сети, в которой только четыре обучающих вектора, предъявляемых циклически, заставляют веса сети изменяться непрерывно, никогда не сходясь. Такая временная нестабильность явилась одним из главных факторов, заставивших Гроссберга и его сотрудников исследовать радикально отличные конфигурации. Адаптивная резонансная теория (APT) явля­ется одним из результатов исследования этой проблемы [2,4]. Сети и алгоритмы APT сохраняют пластичность, необ­ходимую для изучения новых образов, в то же время пре­дотвращая изменение ранее запомненных образов. Эта способность стимулировала большой интерес к APT, но многие исследователи нашли теорию трудной для понима­ния. Математическое описание APT является сложным, но основные идеи и принципы реализации достаточно просты для понимания. Мы сконцентрируемся далее на общем опи­сании APT; математически более подготовленные читатели смогут найти изобилие теории в литературе, список кото­рой приведен в конце главы. Нашей целью является обес­печение достаточно конкретной информацией, чтобы чита­тель мог понять основные идеи и возможности, а также провести компьютерное моделирование с целью исследова­ния характеристик этого важного вида сетей.

АРХИТЕКТУРА APT

Адаптивная резонансная теория включает две пара­дигмы, каждая из которых определяется формой входных данных и способом их обработки. АРТ-1 разработана для обработки двоичных входных векторов, в то время как АРТ-2, более позднее обобщение АРТ-1, может классифици­ровать как двоичные, так и непрерывные векторы. В дан­ной работе рассматривается только АРТ-1. Читателя, интересующегося АРТ-2, можно отослать к работе [3] для полного изучения этого важного направления. Для кратко­сти АРТ-1 в дальнейшем будем обозначать как APT.

Описание APT

Сеть APT представляет собой векторный классифика­тор. Входной вектор классифицируется в зависимости от того, на какой из множества ранее запомненных образов он похож. Свое классификационное решение сеть APT выра­жает в форме возбуждения одного из нейронов распознаю­щего слоя. Если входной вектор не соответствует ни одному из запомненных образов, создается новая катего­рия посредством запоминания образа, идентичного новому входному вектору. Если определено, что входной вектор похож на один из ранее запомненных векторов с точки зрения определенного критерия сходства, запомненный вектор будет изменяться (обучаться) под воздействием нового входного вектора таким образом, чтобы стать более похожим на этот входной вектор. Запомненный образ не будет изменяться, если теку­щий входной вектор не окажется достаточно похожим на него. Таким образом решается дилемма стабильности-пластичности. Новый образ может создавать дополнитель­ные классификационные категории, однако новый входной образ не может заставить измениться существующую па­мять.