Обработка информации и принятие решения в системах ближней локации (стр. 5 из 6)
4. Обучение нейронной сети.
4.1 Общие сведения о нейронных сетях
Искусственные НС представляет собой модели, в основе которых лежат современные представления о строении мозга человека и происходящих в нем процессах обработки информации. ИНС уже нашли широкое применение в задачах: сжатия информации, оптимизации, распознавание образов, построение экспертных систем, обработки сигналов и изображений и т.д.
Связь между биологическим и искусственным нейронами
Рисунок 20 – Структура биологического нейрона
Нервная система человека состоит из огромного количества связанных между собой нейронов, порядка 1011; количество связей исчисляется числом 1015.
Представим схематично пару биологических нейронов (рисунок 20).Нейрон имеет несколько входных отростков – дендриты, и один выходной – аксон. Дендриты принимают информацию от других нейронов, аксон – передает. Область соединения аксона с дендритом (область контакта) называется синапсом. Сигналы, принятые синапсами, подводятся к телу нейрона, где они суммируются. При этом, одна часть входных сигналов являются возбуждающими, а другая – тормозящими.
Когда входное воздействие превысит некоторый порог, нейрон переходит в активное состояние и посылает по аксону сигнал другим нейронам.
Искусственный нейрон – это математическая модель биологического нейрона (Рисунок 21). Обозначим входной сигнал через х, а множество входных сигналов через вектор X = {х1, х2, …, хN}. Выходной сигнал нейрона будем обозначать через y.Изобразим функциональную схему нейрона.
Рисунок 21 – Искусственный нейрон
Для обозначения возбуждающего или тормозящего воздействия входа, введем коэффициенты w1, w1, …, wN – на каждый вход, то есть вектор
W = {w1, w1, …, wN}, w0 – величина порога. Взвешенные на векторе W входные воздействия Х перемножаются с соответствующим коэффициентом w, суммируются и формируется сигнал g:
Выходной сигнал является некоторой функцией от g
,
где F – функция активации. Она может быть различного вида:
1) ступенчатой пороговой
2)
или 
В общем случае:
2) линейной, которая равносильна отсутствию порогового элемента вообще
F(g) = g
3) кусочно-линейной, получаемая из линейной путем ограничения диапазона её изменения в пределах
, то есть 
4) сигмоидальной
5) многопороговой
6) гиперболический тангенс
F(g) = tanh(g)
Чаще всего входные значения преобразуются к диапазону XÎ [0, 1]. При wi= 1 (i = 1, 2,…, N) нейрон является мажоритарным элементом. Порог в этом случае принимает значение w0 = N/2.
Еще один вариант условного изображения искусственного нейрона приведен на рисунке 22
Рисунок 22 – Условное обозначение искусственного нейрона
С геометрической точки зрения, нейрон при линейной функции активации описывает уравнение линии, если на входе одно значение x1
или плоскости, когда на входе вектор значений Х
Структура (архитектура, топология) нейронных сетей
Существует множество способов организации ИНС, в зависимости от: числа слоев, формы и направления связей.
Изобразим пример организации нейронных сетей (рисунок 23).
Однослойная структура Двухслойная структура с обратными связями с обратными связями
Двухслойная структура Трехслойная структура с прямыми связями с прямыми связями
Рисунок 23 – Примеры структур нейронных сетей
На рисунке 24 изображена трехслойная НС с прямыми связями. Слой нейронов, непосредственно принимающий информацию из внешней среды, называется входным слоем, а слой, передающий информацию во внешнюю среду – выходным. Любой слой, лежащий между ними и не имеющий контакта с внешней средой, называется промежуточным (скрытным) слоем. Слоев может быть и больше. В многослойных сетях, как правило, нейроны одного слоя имеют функцию активации одного типа.
Рисунок 24 – Трехслойная нейронная сеть
При конструировании сети в качестве исходных данных выступают:
– размерность вектора входного сигнала, то есть количество входов;
– размерность вектора выходного сигнала. Число нейронов в выходном слое, как правило, равно числу классов;
– формулировка решаемой задачи;
– точность решения задачи.
Например, при решении задачи обнаружения полезного сигнала НС может иметь один или два выхода.
Создание или синтез НС – это задача, которая в настоящее время теоретически не решена. Она носит частный характер.
Обучение нейронных сетей
Одним из самых замечательных свойств нейронных сетей является их способность обучаться. Несмотря на то, что процесс обучения НС отличается от обучения человека в привычном нам смысле, в конце такого обучения достигаются похожие результаты. Цель обучения НС заключается в её настройке на заданное поведение.
Наиболее распространенным подходом в обучении нейронных сетей является коннекционизм. Он предусматривает обучение сети путем настройки значений весовых коэффициентов wij, соответствующих различным связям между нейронами. Матрица W весовых коэффициентов wijсети называется синаптической картой. Здесь индекс i – это порядковый номер нейрона, из которого исходит связь, то есть предыдущего слоя, а j – номер нейрона последующего слоя.
Существует два вида обучения НС: обучение с учителем и обучение без учителя.
Обучение с учителем заключается в предъявлении сети последовательности обучаемых пар (примеров) (Хi, Hi), i = 1, 2, …, mобразов, которая называется обучающей последовательностью. При этом для каждого входного образа Хiвычисляется реакция сети Yiи сравнивается с соответствующим целевым образом Hi. Полученное рассогласование используется алгоритмом обучения для корректировки синаптической карты таким образом, чтобы уменьшить ошибку рассогласования. Такая адаптация производится путем циклического предъявления обучающей выборки до тех пор, пока ошибка рассогласования не достигнет достаточно низкого уровня.
Хотя процесс обучения с учителем понятен и широко используется во многих приложениях нейронных сетей, он всё же не полностью соответствует реальным процессам, происходящим в мозге человека в процессе обучения. При обучении наш мозг не использует какие-либо образы, а сам осуществляет обобщение поступающей извне информации.
В случае обучения без учителя обучающая последовательность состоит лишь из входных образов Хi. Алгоритм обучения настраивает веса так, чтобы близким входным векторам соответствовали одинаковые выходные векторы, то есть фактически осуществляет разбиение пространства входных образов на классы. При этом до обучения невозможно предсказать, какие именно выходные образы будут соответствовать классам входных образов. Установить такое соответствие и дать ему интерпретацию можно лишь после обучения.
Обучение НС можно рассматривать как непрерывный или как дискретный процесс. В соответствии с этим алгоритмы обучения могут быть описаны либо дифференциальными уравнениями, либо конечно-разностными. В первом случае НС реализуется на аналоговой, во втором – на цифровых элементах. Мы будем говорить только о конечно-разностных алгоритмах.
Фактически НС представляет собой специализированный параллельный процессор или программу, эмулирующую нейронную сеть на последовательной ЭВМ.
Большинство алгоритмов обучения (АО) НС выросло из концепции Хэбба. Он предложил простой алгоритм без учителя, в котором значение веса wij, соответствующее связи между i-м и j-м нейронами, возрастает, если оба нейрона находятся в возбужденном состоянии. Другими словами, в процессе обучения происходит коррекция связей между нейронами в соответствии со степенью корреляции их состояний. Это можно выразить в виде следующего конечно-разностного уравнения: