Психологическая интуиция искусственных нейронных сетей (стр. 6 из 18)

* Достаточное условие первого порядка. Если

- выпуклая функция, дифференцируемая в точке и , то - точка глобального минимума на .

* Необходимое условие второго порядка. Если

- точка минимума на и дважды дифференцируема в ней, то .

* Достаточное условие второго порядка. Если в точке

дважды дифференцируема, выполнено необходимое условие первого порядка ( ) и , то - точка локального минимума.

Условия экстремума являются основой, на которой строятся методы решения оптимизационных задач. В ряде случаев условия экстремума хотя и не дают возможности явного нахождения решения, но сообщают много информации об его свойствах.

Кроме того, доказательство условий экстремума или вид этих условий часто указывают путь построения методов оптимизации.

При обосновании методов приходится делать ряд предположений. Обычно при этом требуется, чтобы в точке

выполнялось достаточное условие экстремума. Таким образом, условия экстремума фигурируют в теоремах о сходимости методов.

И, наконец, сами доказательства сходимости обычно строятся на том, что показывается, как «невязка» в условии экстремума стремится к нулю.

При решении оптимизационных задач существенны требования существования, единственности и устойчивости решения.

Существование точки минимума проверяется при помощи теоремы Вейерштрасса:

Пусть

непрерывна на и множество для некоторого непусто и ограничено. Тогда существует точка глобального минимума на .

При анализе единственности точки экстремума применяются следующие рассуждения:

Точка минимума называется локально единственной, если в некоторой ее окрестности нет других локальных минимумов. Считается, что

- невырожденная точка минимума, если в ней выполнено достаточное условие экстремума второго порядка ( , ).

Доказано, что точка минимума (строго) выпуклой функции (глобально) единственна.

Проблема устойчивости решения возникает в связи со следующим кругом вопросов:

* Пусть метод оптимизации приводит к построению минимизирующей последовательности, следует ли из этого ее сходимость к решению?

* Если вместо исходной задачи минимизации решается задача, сходная с ней, можно ли утверждать близость их решений?

В [77] приводится следующее определение устойчивости:

Точка

локального минимума называется локально устойчивой, если к ней сходится любая локальная минимизирующая последовательность, то есть если найдется такое, что из следует .

При обсуждении проблемы устойчивости решения задачи оптимизации можно выделить следующие важные теоремы.

* Точка локального минимума непрерывной функции

локально устойчива тогда и только тогда, когда она локально единственна.

* Пусть

- локально устойчивая точка минимума непрерывной функции , а - непрерывная функция. Тогда для достаточно малых функция имеет локально единственную точку минимума в окрестности и при .

* Пусть

- невырожденная точка минимума , а функция непрерывно дифференцируема в окрестности точки . Тогда для достаточно малых существует - локальная точка минимума функции в окрестности , причем .

Помимо качественной характеристики точки минимума (устойчива она или нет) существенным является вопрос количественной оценки устойчивости. Такие оценки, позволяющие судить о близости точки

к решению , если близко к записываются следующим образом:

Для сильно выпуклых функций:

,

где

- константа сильной выпуклости.

Для невырожденной точки минимума:

,

где

- наименьшее собственное значение матрицы .

Как видно, в каждом из этих определений

играет роль характеристики «запаса устойчивости» точки минимума.

Кроме

в качестве характеристики устойчивости точки минимума используют «нормированный» показатель , называемый обусловленностью точки минимума .

,

.

Можно сказать, что

характеризует степень вытянутости линий уровня в окрестности - «овражность» функции (чем больше , тем более «овражный» характер функции).