Смекни!
smekni.com

Нейрокомпьютерные системы (стр. 25 из 32)

На микроскопическом уровне обнаружено, что нейроны обладают как возбуждающими, так и тормозящими синапса­ми. Первые стремятся к возбуждению нейрона; последние подавляют его возбуждение (см. приложение А). Это наво­дит на мысль, что мозг адаптируется либо изменением воздействия этих синапсов, либо созданием или разруше­нием синапсов в результате воздействия окружающей сре­ды. Данное предположение остается пока гипотезой с ограниченным физиологическим подтверждением. Однако исследования, проведенные в рамках этой гипотезы, при­вели к созданию цифровых моделей, некоторые из которых показывают замечательные способности к адаптивному распознаванию образов.

КОГНИТРОН

Основываясь на текущих знаниях анатомии и физиоло­гии мозга, в работе [2] разработан когнитрон, гипотети­ческая модель системы восприятия человека. Компьютерные модели, исследованные в [2], продемонстрировали впечат­ляющие способности адаптивного распознавания образов, побуждая физиологов исследовать соответствующие меха­низмы мозга. Это взаимно усиливающее взаимодействие между искусственными нейронными сетями, физиологией и психологией может оказаться средством, посредством которого будет со временем достигнуто понимание меха­низмов мозга.

Структура

Когнитрон конструируется в виде слоев нейронов, соединенных синапсами. Как показано на рис. 10.1, предсинаптический нейрон в одном слое связан с постсинаптическим нейроном в следующем слое. Имеются два типа нейронов: возбуждающие узлы, которые стремятся вызвать возбуждение постсинаптического узла, и тормозящие узлы, которые тормозят это возбуждение. Возбуждение нейрона определяется взвешенной суммой его возбуждающих и тор­мозящих входов, однако в действительности механизм является более сложным, чем простое суммирование.

Рис. 10.1. Пресинаптические и постсинаптические нейроны.

На рис. 10.2 показано, что каждый нейрон связан только с нейронами в соседней области, называемой областью связи. Это ограничение области связи согласу­ется с анатомией зрительной коры, в которой редко со­единяются между собой нейроны, располагающиеся друг от друга на расстоянии более одного миллиметра. В рассмат­риваемой модели нейроны упорядочены в виде слоев со связями от одного слоя к следующему. Это также анало­гично послойной структуре зрительной коры и других частей головного мозга.

Обучение

Так как когнитрон реализован в виде многослойной сети, возникают сложные проблемы обучения, связанные с выбранной структурой. Автор отверг управляемое обуче­ние, как биологически неправдоподобное, используя вза­мен этого обучение без учителя. Получая обучающий набор входных образов, сеть самоорганизуется посредством изменения силы синаптических связей. При этом отсутст­вуют предварительно определенные выходные образы, пред­ставляющие требуемую реакцию сети, однако сеть самонас­траивается с целью распознавания входных образов с замечательной точностью. Алгоритм обучения когнитрона является концептуаль­но привлекательным. В заданной области слоя обучается только наиболее сильно возбужденный нейрон. Автор срав­нивает это с «элитным обучением», при котором обучаются только «умные» элементы. Те нейроны, которые уже хорошо обучены, что выражается силой их возбуждения, получат приращение силы своих синапсов с целью дальнейшего усиления своего возбуждения. На рис. 10.3 показано, что области связи соседних узлов значительно перекрываются. Это расточительное дублирование функций оправдывается взаимной конкурен­цией между ближайшими узлами. Даже если узлы в началь­ный момент имеют абсолютно идентичный выход, небольшие отклонения всегда имеют место; один из узлов всегда будет иметь более сильную реакцию на входной образ, чем соседние. Его сильное возбуждение будет оказывать сдер­живающее воздействие на возбуждение соседних узлов, и только его синапсы будут усиливаться; синапсы соседних узлов останутся неизменными.

Возбуждающий нейрон.

Грубо говоря, выход возбужда­ющего нейрона в когнитроне определяется отношением его возбуждающих входов к тормозящим входам. Эта необычная функция имеет важные преимущества, как практические, так и теоретические.

Суммарный возбуждающий вход в нейрон Е является взвешенной суммой входов от возбуждающих нейронов в предшествующем слое. Аналогично суммарный тормозящий вход / является взвешенной суммой входов от всех тормо­зящих нейронов. В символьном виде

где аi - вес i-го возбуждающего синапса, иi - выход i -го возбуждающего нейрона, bj - вес j-го тормозящего синапса, v. - выход j-го тормозящего нейрона. Заметим, что веса имеют только положительные значения. Выход нейрона затем вычисляется следующим образом:

NET = [(1 + E)/(l + I)]-l,

OUT=NET при NET>=0,

OUT=0 при NET < 0.

Предполагая, что NET имеет положительное значение, это можно записать следующим образом:

OUT = (E - I)/(1 + I).

Когда тормозящий вход мал ( I << 1), OUT может быть аппроксимировано как OUT = Е – I , что соответствует выражению для обычного линейного порогового элемента (с нулевым порогом). Алгоритм обучения когнитрона позволяет весам си­напсов возрастать без ограничений. Благодаря отсутствию механизма уменьшения весов они просто возрастают в процессе обучения. В обычных линейных пороговых элемен­тах это привело бы к произвольно большому выходу эле­мента. В когнитроне большие возбуждающие и тормозящие входы результируются в ограничивающей формуле вида:

OUT = (E / I) - 1, если Е>>1 и I >>1.

В данном случае OUT определяется отношением возбужда­ющих входов к тормозящим входам, а не их разностью. Таким образом, величина OUT ограничивается, если оба входа возрастают в одном и том же диапазоне X. Предпо­ложив, что это так, Е и I можно выразить следующим образом:

Е = рХ, I = qX, p,q - константы, и после некоторых преобразований OUT = [(р - q)/2q]{1 + th[log(pq)/2]}.

Эта функция возрастает по закону Вебера-Фехнера, который часто используется в нейрофизиологии для аппрокси­мации нелинейных соотношений входа/выхода сенсорных нейронов. При использовании этого соотношения нейрон когнитрона в точности эмулирует реакцию биологических нейронов. Это делает его как мощным вычислительным элементом, так и точной моделью для физиологического моделирования.

Тормозящие нейроны.

В когнитроне слой состоит из возбуждающих и тормозящих узлов. Как показано на рис. 10.4, нейрон слоя 2 имеет область связи, для кото­рой он имеет синаптические соединения с набором выходов нейронов в слое 1. Аналогично в слое 1 существует тор­мозящий нейрон, имеющий ту же область связи. Синапти­ческие веса тормозящих узлов не изменяются в процессе обучения; их веса заранее установлены таким образом, что сумма весов в любом из тормозящих нейронов равна единице. В соответствии с этими ограничениями, выход тормозящего узла INHIB является взвешенной суммой его входов, которые в данном случае представляют собой среднее арифметическое выходов возбуждающих нейронов, к которым он подсоединен. Таким образом,

где

=1, сi - возбуждающий вес i.

Процедура обучения. Как объяснялось ранее, веса возбуждающих нейронов изменяются только тогда, когда нейрон возбужден сильнее, чем любой из узлов в области конкуренции. Если это так, изменение в процессе обуче­ния любого из его весов может быть определено следующим образом:

dai=qcjuj

где сj- тормозящий вес связи нейрона j в слое 1 с тор­мозящим нейроном i, иj - выход нейрона j в слое 1, аi - возбуждающий вес i, q - нормирующий коэффициент обуче­ния. Изменение тормозящих весов нейрона i в слое 2 пропорционально отношению взвешенной суммы возбуждающих входов к удвоенному тормозящему входу. Вычисления про­водятся по формуле

Когда возбужденных нейронов в области конкуренции нет, для изменения весов используются другие выраже­ния. Это необходимо, поскольку процесс обучения начина­ется с нулевыми значениями весов; поэтому первоначально нет возбужденных нейронов ни в одной области конкурен­ции, и обучение производиться не может. Во всех случа­ях, когда победителя в области конкуренции нейронов нет, изменение весов нейронов вычисляется следующим образом :

где q' - положительный обучающий коэффициент меньший чем q. Приведенная стратегия настройки гарантирует, что узлы с большой реакцией заставляют возбуждающие синап­сы, которыми они управляют, увеличиваться сильнее, чем тормозящие синапсы. И наоборот, узлы, имеющие малую реакцию, вызывают малое возрастание возбуждающих синап­ сов, но большее возрастание тормозящих синапсов. Таким образом, если узел 1 в слое 1 имеет больший выход, синапс а1 возрастет больше, чем синапс b1 . И наоборот, узлы, имеющие малый выход, обеспечат малую величину для приращения аi. Однако другие узлы в области связи будут возбуждаться, тем самым увеличивая сигнал INHIB и значения bi. В процессе обучения веса каждого узла в слое 2 настраиваются таким образом, что вместе они составляют шаблон, соответствующий образам, которые часто предъ­являются в процессе обучения. При предъявлении сходного образа шаблон соответствует ему и узел вырабатывает большой выходной сигнал. Сильно отличающийся образ вырабатывает малый выход и обычно подавляется конкурен­цией.