Методы оптимизации (стр. 4 из 11)
Покажем теперь, что в точке
достигается либо 
, либо 
в зависимости от того, является 
точкой максимума или минимума. В самом деле, при каждом фиксированном х 
Следовательно,
где
Таким образом, по х и
функция Лагранжа имеет экстремум противоположного характера. Если при этом оказывается, что 
то точка
, по определению, является седловой точкой функции Лагранжа.Пример 3. Исследуем на экстремум функцию
.Решение. Координаты x, y, zкритической точки гладкой функции u должны удовлетворять системе:
или 
Отсюда получаем пять критических точек:
, 
, 
, 
, 
.Исследуем поведение функции u в стационарных точках с помощью достаточного условия экстремума:
Отсюда получаем
. Так как 
является отрицательно определенной квадратичной формой, то в точке 
функция u имеет строгий локальный максимум.Для анализа квадратичной формы
Применим критерий Сильвестра. Матрица этой формы:
.Её главные миноры:
2>0;
Распределение знаков этих миноров показывает, что данная квадратичная форма знакопеременная, следовательно, в точке М1 функция u не имеет экстремума: точка М1 есть седловая точка функции u.
Точно так же устанавливается, что точки М2, М3, М4 также седловые точки функции u.
Глава II. ЧИСЛЕННЫЕ МЕТОДЫ ОТЫСКАНИЯ БЕЗУСЛОВНОГО ЭКСТРЕМУМА
§ 1. Методы первого порядка (градиентные методы)
Как известно из курсов анализа, градиент скалярной функции f(х) в некоторой точке xkнаправлен в сторону наискорейшего возрастания функции и ортогонален линии уровня (поверхности постоянного значения функции f(x), проходящей через точку хk). Вектор, противоположный градиенту f'(xk), антиградиент, направлен в сторону наискорейшего убывания функции f(x). Выбирая в качестве направления спуска рkв 
антиградиент функции f(х) в точке xk, мы приходим к итерационному процессу вида
k=1, 2, …n.В координатной форме этот процесс записывается следующим образом:
i=1, 2, …n.
Все итерационные процессы, в которых направление движения на каждом шаге совпадает с антиградиентом (градиентом) функции, называются градиентными методами и отличаются друг от друга способами выбора шага
Рассмотрим некоторые из них.1.1 Метод градиентного спуска с постоянным шагом
Постановка задачи
Пусть дана функция f(х), ограниченная снизу на множестве Rnи имеющая непрерывные частные производные во всех его точках.
Требуется найти локальный минимум функции f(х) на множестве допустимых решений X= Rn, т.е. найти такую точку
, что 
Стратегия поиска
Стратегия решения задачи состоит в построении последовательности точек {хk}, k = 0,1,..., таких, что
k= 0,1,... . Точки последовательности {хk} вычисляются по правилу 
(1)где точка х0 задается пользователем;
- градиент функции f(x), вычисленный в точке хk; величина шага 
задается пользователем и остается постоянной до тех пор, пока функция убывает в точках последовательности, что контролируется путем проверки выполнения условия 
или 
Рис. 2
Построение последовательности {хk} заканчивается в точке хk, для которой
, где 
- заданное малое положительное число, или 
, где М - предельное число итераций, или при двукратном одновременном выполнении двух неравенств 
, 
где 
- малое положительное число. Вопрос о том, может ли точка хkрассматриваться как найденное приближение искомой точки минимума, решается путем проведения дополнительного исследования, которое описано ниже.