Смекни!
smekni.com

Когнитивная наука Основы психологии познания том 1 Величковский Б М (стр. 36 из 120)

Типичная коннекционистская сеть показана на рис. 2.10. Наличие нескольких слоев элементов: входного и выходного слоя плюс не менее одного промежуточного (или «скрытого», от англ. hidden) слоя — отли­чительная черта современных коннекционистских моделей. Попытки демонстрации вычислительных возможностей сетей формальных ней­ронов предпринимались американскими нейрофизиологами Мак-Кал-локом и Питтсом еще в 1940-е годы. В последующие два десятилетия простые (один входной и один выходной слой) сети под названием «персептроны» использовались для машинного распознавания изобра­жений, однако без особого успеха, так как оказалось, что они неспособ­ны к строгой дизъюнкции («либо А» — «либо В») — логической опера­ции, необходимой для различения состояний мира. Лишь в начале

14 Распространенный сегодня в психологии и за ее пределами термин «коннекцио-
низм» в историческом контексте впервые был использован Эдвардом Торндайком (на­
пример, Thorndike, 1932) для обозначения его основанной на ассоциативных связях сти­
мулов и реакций бихевиористской теории научения (см. 1.3.2 и 5.4.2). 135

1980-х годов было показано, что добавление по крайней мере одного «скрытого» слоя нейроноподобных элементов снимает эту проблему, позволяя осуществлять на базе параллельных архитектур весь спектр логических операций. В 1986 году Румелхарт и Макклелланд опублико­вали двухтомную «библию» коннекционизма (McClelland & Rumelhart, 1986; Rumelhart & McClelland, 1986), содержащую, наряду с описанием формального аппарата моделирования, многочисленные примеры пси­хологических и нейрофизиологических применений этого подхода.

Главное преимущество коннекционистских моделей по сравнению с традиционными когнитивными моделями — это возможность ассоци­ативного (контентно-адресованного) и распределенного хранения инфор­мации, а также, что особенно важно, адаптивного обучения. Первая осо­бенность означает, что любой фрагмент первоначальной ситуации или любое сопутствующее обстоятельство способны ассоциативно поддер­жать припоминание. «Распределенным» хранение является потому, что его субстратом является в каждом конкретном случае не какой-то от­дельный элемент, а сеть в целом, то есть состояния всех ее узлов и весо­вые коэффициенты их связей. Наконец, коннекционизм позволяет есте­ственно описывать некоторые элементарные формы обучения. Процессы обучения в искусственных нейронных сетях имеют известную специфи­ку, которая должна стать понятной из нижеследующих примеров. Про­стейшая, сугубо ассоциативная процедура обучения в нейронных сетях

активация на выходе



выходной слой

тренируемые связи

скрытый слой


входной слой


ООО


активация на входе


136


Рис. 2.10. Однонаправленная (feedforward) коннекционистская сеть, включающая скры­тый слой элементов


восходит к классическим идеям проторения путей павловской физиоло­гии и клеточных ансамблей Дональда Хэбба (см. 1.4.2).

В «Организации поведения» Хэбб (Hebb, 1949) предположил, что по­вторная стимуляция тех же рецепторов постепенно ведет к функцио­нальному объединению нейронов ассоциативных областей мозга, так что этот клеточный ансамбль может сохранять активацию после окон­чания стимуляции и вновь возбуждаться при возникновении похожего узора стимуляции. В нейроинформатике используется следующее прави­ло Хэбба: между всеми одновременно (синхронно) активированными ней­ронами (то есть элементами сети) снижаются пороги синаптических связей (повышаются весовые коэффициенты активационных связей). В результате многократных повторений распространение активации при возникновении на входе той же ситуации происходит быстрее, группа элементов, «ансамбль», активируется как целое, и, что важно, эта активация происходит даже при изменениях ситуации, например, выпадении каких-то компонентов изображения, а равно «отмирании» части «нейронов» самой сети. Тем самым удается моделировать особен­ности целостного восприятия, описанного гештальтпсихологией (см. 1.3.1). Подобная терпимость (gracefuldegradation) к искажениям на вхо­де и к нарушениям механизма обработки информации разительно кон­трастирует с хрупкостью обычных символьных программ, где лишний пропуск или неправильно поставленная запятая способны остановить работу программы и даже самого компьютера. Кроме того, пластичность синаптических связей, лежащая в основе формирования ансамблей, по­зволяет дать физиологическое объяснение процессам обобщения (кате­горизации) отдельных стимульных ситуаций.

Недостатком описанного механизма самоорганизации нейронных связей является его чрезвычайно медленный, требующий сотен и тысяч повторений характер. В 1981 году немецко-американский нейрофизио­лог К. фон дер Мальсбург предположил, что для объяснения одноразо­вого обучения должны существовать быстрые синапсы, меняющие свои характеристики в ответ на однократное возникновение некоторой, обычно новой или значимой ситуации. Мальсбург назвал их «хэббов-скими синапсами». Такие синапсы действительно были обнаружены в последнее время и по предложению Нобелевского лауреата по биологии Фрэнсиса Крика иногда называются теперь «мальсбургскими». Мы под­робнее остановимся на обсуждении этих нейрофизиологических меха­низмов в последующих главах, посвященных сознанию и памяти (см. 4.4.3 и 5.3.2).

Примером более эффективного компьютерного алгоритма обучения в самой нейроинформатике служит предложенный канадским информа­тикой Джеффри Хинтоном и его коллегами метод обратного распрост­ранения ошибки (backpropagationoferror). В этом случае сети предъявля­ется некоторая конфигурация, а затем ответ на выходе сравнивается с идеальным, желаемым ответом. Результат подобного сравнения того, что должно быть (Sollwert), с тем, что есть (Istwert), вычисляется и пропуска­ется затем в обратном направлении: от выхода сети к ее входному слою, причем на каждом промежуточном этапе осуществляются некоторые


коррекции весовых коэффициентов связей элементов с целью последу­ющей минимизации рассогласования. Телеологизм этих процессов и не­обходимость эксплицитного надсмотра за обучающейся сетью порожда­ют, с одной стороны, множество смутных психологических аналогий, а с другой стороны, известный скептицизм в оценке «обратного распрос­транения» как подходящего средства моделирования когнитивных про­цессов. Дело в том, что «контролируемая минимизация рассогласова­ния» оставляет сильное впечатление произвольного подбора желаемого результата15.

Ряд коннекционистских моделей использует обратные связи для повторного пропускания продуктов обработки через нейронную сеть. Это свойство, называемое рекуррентностью, позволяет обрабатывать конфигурации на входе в контексте предыдущих событий («прошлого опыта»). Два варианта рекуррентных сетей, использовавшихся для мо­делирования синтаксического анализа речи, показаны на рис. 2.11. Су­ществует практически открытое множество других вариантов коммута­ции элементов, а также возможность соединения коннекционистских моделей с традиционными символьными архитектурами в рамках гиб­ридных моделей, включающих как символические, так и коннекцио-нистские компоненты. Так, в литературе интенсивно обсуждается воз­можность существования разных нейролингвистических механизмов для работы с регулярными и нерегулярными глаголами (Pinker, 2000). В случае регулярных глаголов, склоняемых по определенным фиксиро­ванным правилам, в памяти могла бы сохраняться лишь корневая мор­фема, по отношению к которой осуществляются традиционные сим­вольные трансформации (скажем, добавление «-ed» при переходе к прошедшему времени в английском языке). Работа с нерегулярными глаголами, напротив, требует заучивания индивидуальных паттернов (как в случае грамматических форм английского глагола «tobe»: am, are, is, was, were). При моделировании такого, скорее механического, заучи­вания могли бы помочь нейронные сети (см. 7.1.3).

Коннекционизм не мог не вызвать острых научных дискуссий. Они возникли прежде всего с представителями символьного и модулярного подходов (Fodor& Pylyshin, 1988), для которых подобное применение идеи параллельности ведет слишком далеко, вплоть до отказа от основ­ных принципов переработки символьной информации, выделенных к началу 1980-х годов. В самом деле, в распределенных архитектурах не выполняются основные логические требования к символьной записи информации, а следовательно, к коннекционистским репрезентациям не применимы средства исчисления предикатов (см. 2.3.3). Поэтому,

15 Вне психологии — нейроинформатика, компьютерное зрение и роботика — широ­ко используются алгоритмы обучения нейронных сетей, не требующие внешнего над­смотра. Речь идет прежде всего о разновидности разработанных финским информатикой 138 Т. Кохоненом самоорганизующихся карт (self-organizingmaps).


- контекстные нейроны ''