Методы оптимизации (стр. 2 из 11)
Заметим, что необходимое условие экстремума (4) эквивалентно равенству нулю дифференциала функции f(x) в точке
:df(
) = 0.В самом деле, если выполнено условие (4), то для любых dxl, i = l, ..., n, имеем
.Справедливо и обратное утверждение, так как из последнего равенства в силу произвольности независимых приращений dxi,i = l, ..., n, следует, что все частные производные в точке
равны нулю: 
i = l, ..., n.Условия (4) образуют систему п уравнений для определения п компонент вектора
. Эти уравнения могут иметь различную природу и допускать любое количество решений, в частности, не иметь ни одного. Как и выше, точки ,являющиеся решениями системы уравнений (4), будем называть стационарными, а условие (4) - необходимым условием экстремума первого порядка.1.2 Необходимое условие второго порядка. Достаточные условия. После того как решение
системы уравнений (4) будет найдено, необходимо еще определить характер стационарной точки . Для этого нужно исследовать поведение функции f(x) в окрестности стационарной точки . Снова воспользуемся разложением функции f(х) в ряд Тейлора, предполагая ее дважды непрерывно дифференцируемой по всем переменным х1, ...,хn. Тогда получим 
(5)Здесь через
мы обозначили элементы матрицы вторых производных функции f(x) в стационарной точке , а через 
- какую-нибудь норму вектора 
, например, 
.Далее матрицу вторых производных мы будем обозначать так: 
. (6)Характер стационарной точки
функции f(x) связан сознакоопределенностью квадратичной формы 
. (7)Напомним, что квадратичная форма называется неотрицательно определенной в точке
, если 
(8)и положительно определенной, если
(9)для любых векторов
.Соответственно, симметричная матрица вторых производных f"(х) называется неотрицательно определенной в точке
, если выполнено (8), и положительно определенной, если выполнено (9). Неположительно определенным и отрицательно определенным квадратичным формам и матрицам соответствуют противоположные знаки в неравенствах (8), (9).Таким образом, с учетом разложения (5), приходим к следующей формулировке условий второго порядка экстремальности функции f(x1, ..., хп).
Теорема 3. Для того чтобы дважды непрерывно дифференцируемая функция п переменных f(x) имела в стационарной точке
безусловный локальный минимум (максимум), необходимо, чтобы матрица ее вторых производных была неотрицательно (неположительно) определенной, и достаточно, чтобы она была положительно (отрицательно) определенной.Проверка знакоопределенности матриц может быть осуществлена, например, с помощью критерия Сильвестра. Согласно этому критерию, необходимым и достаточным условием положительной определенности квадратичной формы (х, Ах), где А = {aij} — симметричная 
матрица, является выполнение п неравенств:
,
, …, 
Необходимым и достаточным условием отрицательной определенности квадратичной формы (х, Ах) является выполнение цепочки следующих п неравенств:
,
, …, 
Если квадратичная форма не меняет знака, но обращается в нуль при ненулевых значениях аргумента, то для определения характера стационарной точки
требуется исследование производных более высокого порядка.Пример. Определить экстремальные значения функции
Из необходимых условий (2.1) имеем
Поэтому
, 
- стационарная точка. Коэффициенты квадратичной формы (7), вычисленные в ней, равны 
Тогда, согласно теореме 3, имеем следующие случаи:
1) а>0, b>0 - функция f(х) имеет в точке
= {0, 0}T минимум; 
экстремума нет4) а<0, b<0 - функция f(х) имеет в точке
={0, 0}T максимум. Отметим, что случаи 1) и 4) соответствуют поверхности, являющейся эллиптическим параболоидом, а случаи 2) и 3) - гиперболическому параболоиду, имеющему стационарную точку типа «седло».Замечание: Здесь и далее {x1, ..., хп}T– вектор-столбец.
§ 2. Относительный экстремум. Метод множителей Лагранжа
2.1 Метод исключения. Рассмотрим теперь задачу на относительный экстремум. Как мы видели в § 1, решение задачи об отыскании экстремумов функции п переменных f(х) на всем пространстве Епможет быть сведено с помощью необходимых условий к решению системы уравнений (4), в результате чего определяются стационарные точки функции f(x). Оказывается, что аналогичное сведение возможно и для задачи отыскания экстремумов функции f(x) при наличии ограничений типа равенств
gi(x) = 0, i = 1, 2, ..., т.(10)
Условия (10) принято еще называть уравнениями связи.
Точку х, удовлетворяющую условиям (10), будем называть допустимой.
Определение . Допустимая точка
доставляет относительный локальный минимум функции f(х), если можно указать такое число 
, что для всех х, удовлетворяющих уравнениям связи (10) и условию ||х - ||< 
, имеет место неравенство