Предмет и объект прикладной информатики (стр. 31 из 34)

Математический нейрон тоже имеет несколько входов и один выход. Через входы, которых обозначим

, математический нейрон принимает входные сигналы , которые суммирует, умножая каждый входной сигнал на некоторый весовой коэффициент : . (3.1)

Выходной сигнал нейрона

может принимать одно из двух значений – ноль или единицу, которые формируются следующим образом:

, если , (3.2)

, если , (3.3)

где

– порог чувствительности нейрона.

Таким образом, математический нейрон, как и его биологический прототип, существует в двух состояниях. Если взвешенная сумма входных сигналов

меньше некоторой пороговой величины , то математический нейрон не возбужден и его выходной сигнал равен нулю. Если же входные сигналы достаточно интенсивны и их сумма достигает порога чувствительности, то нейрон переходит в возбужденное состояние, и на его выходе образуется сигнал . Весовые коэффициенты , имитируют электропроводность нервных волокон – силу синаптических связей между нейронами. Чем они выше, тем больше вероятность перехода нейрона в возбужденное состояние. Логическая функция (3.2) – (3.3) называемая активационной функцией нейрона, графически изображена на рис. 3.2.

Таким образом, математический нейрон представляет собой пороговый элемент с несколькими входами и одним выходом. Одни из входов математического нейрона оказывают возбуждающее действие, другие – тормозящее. Каждый математический нейрон имеет свое определенное значение порога.

Математический нейрон обычно изображают кружочком, возбуждающий вход – стрелкой, а тормозящий – маленьким кружочком. Рядом может записываться число, показывающее значение порога

. Как показано на рис. 3.4, математические нейроны могут реализовывать различные логические функции. Так, математический нейрон, имеющий два входа с единичными силами синаптических связей , согласно формулам (3.1) –(3.3) реализует функцию логического умножения «И» при и функцию логического сложения «ИЛИ» при . Нейрон с одним входом, у которого , реализует логическую функцию «НЕТ» при .

Персептрон и его обучение на примере распознавания цифр и букв. Правила Хебба.

Персептрон Розенблатта и правило Хебба

Мак-Каллок и Питтс предложили конструкцию сети из математических нейронов и показали, что такая сеть может выполнять числовые и логические операции. Далее они высказали идею о том, что сеть из математических нейронов в состоянии обучаться, распознавать образы, обобщать, т.е. она обладает свойствами человеческого интеллекта.

Идея Мак-Каллока – Питтса была материализована в 1958 г. Фрэнком Розенблаттом в виде электронного устройства, моделирующего человеческий глаз. Это устройство, имеющее в качестве элементной базы модельные нейроны Мак-Каллока – Питтса и названное персептроном, удалось обучить решению сложнейшей интеллектуальной задачи – распознаванию букв латинского алфавита. Таким образом, удалось проверить основные гипотезы функционирования человеческого мозга и сам механизм его обучаемости. «Нельзя сказать, что мы точно воспроизводим работу человеческого мозга, – признавал Розенблатт, – но пока персептрон ближе всего к истине».

Разберем принцип действия персептрона для классификации цифр на четные и нечетные. Представим себе матрицу из 12 фотоэлементов, расположенных в виде четырех горизонтальных рядов по три фотоэлемента в каждом ряду. На матрицу фотоэлементов накладывается карточка с изображением цифры – это цифра «4»). Если на фотоэлемент попадает какой-либо фрагмент цифры, то данный фотоэлемент вырабатывает сигнал в виде двоичной единицы, в противном случае – ноль.

Первый фотоэлемент выдает сигнал

, второй фотоэлемент – и т.д.

Персептронный нейрон выполняет суммирование входных сигналов

, помноженных на синаптические веса , первоначально заданные датчиком случайных чисел. После этого сумма сравнивается с порогом чувствительности , также заданным случайным образом. Цель обучения персептрона состоит в том, чтобы выходной сигнал был = 1, если на карточке была изображена четная цифра, и 0, если цифра была нечетной.

Эта цель достигается путем обучения персептрона, заключающемся в корректировке весовых коэффициентов

. Если, например, на вход персептрона была предъявлена карточка с цифрой «4», и выходной сигнал случайно оказался =1, означающей четность, то корректировать веса не нужно, так как реакция персептрона правильна. Однако, если выход неправилен и , то следует увеличить веса тех активных входов, которые способствуют возбуждению нейрона. В данном случае увеличению подлежат , , и др.

Иитерационный алгоритм корректировки весовых коэффициентов:

ШАГ 1. Подать входной образ и вычислить выход персептрона

.

ШАГ 2,а. Если выход правильный, то перейти на шаг 1.

ШАГ 2,б. Если выход неправильный и равен нулю, то увеличить веса активных входов, например, добавить все входы к соответствующим им весам:

. называют первым правилом Хебба

ШАГ 2,в. Если выход неправильный и равен единице, то уменьшить веса активных входов, например, вычесть каждый вход из соответствующего ему веса:

. вторым правилом Хебба

ШАГ 3. Перейти на шаг 1 или завершить процесс обучения.

всегда ли алгоритм обучения персептрона приводит к желаемому результату: Если существует множество значений весов, которые обеспечивают конкретное различение образов, то в конечном итоге алгоритм обучения персептрона приводит либо к этому множеству, либо к эквивалентному ему множеству, такому, что данное различение образов будет достигнуто.

Проблемы и возможности применения сетей персептронного типа в промышленности, экономике, политологии, социологии, криминалистике, медицине и др. Проблемы проектирования и обучения нейросетей. 13-я проблема Гильберта и теорема Арнольда-Колмогорова. Гиперразмерность интерпретация обучения нейросетей: проблемы локальных минимумов, оврагов и способы их преодоления

Проблемы и возможности применения сетей персептронного типа в промышленности, экономике, политологии, социологии, криминалистике, медицине и др.

Ограниченность однослойного персептрон

Следующий период истории персептронов начался с появления книги Минского и Пайперта «Персептроны» В этой книге математически строго было доказано, что использовавшиеся в то время однослойные персептроны в принципе не способны решать многие простые задачи. Одну из таких задач, заключающуюся в реализации логической операции «Исключающее ИЛИ», мы рассмотрим подробно

«Исключающее ИЛИ» – это булева функция двух аргументов, каждый из которых может иметь значение «истинно» либо «ложно». Сама она принимает значение «истинно», когда только один из аргументов имеет значение «истинно». Во всех остальных случаях функция принимает значение «ложно»: значит, что какие бы значения ни придавались весам и порогу, рассмотренный персептрон в принципе не способен воспроизвести соотношение между входами и выходом, требуемое для представления функции «Исключающее ИЛИ».