Психологическая интуиция искусственных нейронных сетей (стр. 7 из 18)

Наиболее важны в идейном отношении следующие методы безусловной оптимизации: градиентный и Ньютона.

Идея градиентного метода заключается в том, чтобы достигнуть экстремума путем итерационного повторения процедуры последовательных приближений начиная с начального приближения

в соответствии с формулой , где - длина шага.

Сходимость данного метода подтверждается в доказательстве следующей теоремы:

Пусть функция

дифференцируема на , градиент удовлетворяет условию Липшица:

,

ограничена снизу:

и

удовлетворяет условию

.

Тогда в градиентном методе с постоянным шагом

градиент стремится к 0: , а функция монотонно убывает: .

Для сильно выпуклых функций доказываются более сильные утверждения о сходимости градиентного метода.

При решении задачи оптимизации методом Ньютона используется подход, заключающийся в итерационном процессе вида

и в нахождении точки экстремума как решения системы из n уравнений с n неизвестными

.

В методе Ньютона производится линеаризация уравнений в точке

и решение линеаризованной системы вида

.

Анализ достоинств и недостатков итерационных методов оптимизации можно свести в таблицу (см. табл. 3).

Таблица 3Достоинства и недостатки итерационных методов оптимизации

Видно, что достоинства и недостатки этих методов взаимно дополнительны, что делает привлекательной идею создания модификаций этих методов, объединяющих достоинства методов и свободных от их недостатков.

Модификацией градиентного метода является метод наискорейшего спуска:

, .

Модификация метода Ньютона с целью придания ему свойства глобальной сходимости возможна, например, способом регулировки длины шага:

.

Такой метод называют демпфированным методом Ньютона. Возможные подходы к способу выбора шага

:

– Вычисление по формуле

;

– Итерационный алгоритм, заключающийся в последовательном дроблении шага

на константу начиная со значения до выполнения условия , или условия , .

Демпфированный метод Ньютона глобально сходится для гладких сильно выпуклых функций.

Помимо одношаговых методов, к которым относятся градиентный метод и метод Ньютона, существует целый класс многошаговых методов, использующих для оптимизации информацию, полученную с предыдущих шагов. К ним относятся:

* Метод тяжелого шарика, использующий итерационную формулу

, где , - некоторые параметры. Введение инерции движения (член ) в некоторых случаях приводит к ускорению сходимости за счет выравнивания движения по «овражистому» рельефу функции;

* Метод сопряженных градиентов. Здесь параметры оптимизации находятся из решения двумерной задачи оптимизации:

,

.

Кроме всех вышеперечисленных методов оптимизации существует еще класс методов, основанных на идее восстановления квадратичной аппроксимации функции по значениям ее градиентов в ряде точек. К ним относятся:

* Квазиньютоновские методы, имеющие общую структуру

, где матрица пересчитывается рекуррентно на основе информации, полученной на k-й итерации, так что . К числу таких методов относятся ДФП (метод Давидона-Флетчера-Пауэлла) и BFGS или БФГШ (метод Бройдена-Флетчера-Гольдфарба-Шанно) [46].

* Методы переменной метрики и методы сопряженных направлений, согласно которым метод

, , может рассматриваться как градиентный в метрике , а оптимальным выбором метрики является .

1.7 нейронные сети

В данной работе задачи распознавания образов и восстановления зависимостей будут решаться в основном с применением нейронных сетей. Обзор данной темы основан на [1]-[6], [8]-[15], [22],[23], [32]-[34], [36]-[41], [59], [64], [67]-[70], [83]-[88].

1.7.1 Основные элементы

Нейронная сеть представляет собой структуру взаимосвязанных клеточных автоматов, состоящую из следующих основных элементов:

Нейрон - элемент, преобразующий входной сигнал по функции:

где x - входной сигнал, c - параметр, определяющий крутизну графика пороговой функции, а cm - параметр спонтанной активности нейрона.

Сумматор - элемент, осуществляющий суммирование сигналов поступающих на его вход:

Синапс - элемент, осуществляющий линейную передачу сигнала:

где w - “вес” соответствующего синапса.

1.7.2 Структура сети

Сеть состоит из нейронов, соединенных синапсами через сумматоры по следующей схеме: