Гессиан функции

Гессиан функции — симметрическая квадратичная форма, описывающая поведение функции во втором порядке.

Для функции $f$$f$, дважды дифференцируемой в точке $x\in <!--\; \in \; -->{\mathbb{R}}^n$$x\in \mathbb{R} ^{n}$

$H(x)=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}\underset{j=1}{\overset{n}{\sum <!--\; \sum \; -->}}{a}_{ij}{x}_i{x}_j$$H(x)=\sum _{{i=1}}^{n}\sum _{{j=1}}^{n}a_{{ij}}x_{i}x_{j}$

или

$H(z)=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}\underset{j=1}{\overset{n}{\sum <!--\; \sum \; -->}}{a}_{ij}{z}_i{\stackrel{¯<!--\; ¯\; -->}{z}}_j$$H(z)=\sum _{{i=1}}^{n}\sum _{{j=1}}^{n}a_{{ij}}z_{i}\overline {z}_{j}$

где $a_{ij}={\mathrm{\partial <!--\; \partial \; -->}}^{2}f/\mathrm{\partial <!--\; \partial \; -->}{x}_i\mathrm{\partial <!--\; \partial \; -->}{x}_j$$a_{{ij}}=\partial ^{2}f/\partial x_{i}\partial x_{j}$ (или $a_{ij}={\mathrm{\partial <!--\; \partial \; -->}}^{2}f/\mathrm{\partial <!--\; \partial \; -->}{z}_i\mathrm{\partial <!--\; \partial \; -->}{\stackrel{¯<!--\; ¯\; -->}{z}}_j$$a_{{ij}}=\partial ^{2}f/\partial z_{i}\partial \overline {z}_{j}$) и функция $f$$f$ задана на $n$$n$-мерном вещественном пространстве ${\mathbb{R}}^n$$\mathbb {R} ^{n}$ (или комплексном пространстве ${\mathbb{C}}^n$$\mathbb{C}^n$) с координатами $x_1,\dots <!--\; \dots \; -->,x_n$$x_{1},\ldots ,x_{n}$ (или $z_1,\dots <!--\; \dots \; -->,z_n$$z_{1},\ldots ,z_{n}$). В обоих случаях гессиан — квадратичная форма, заданная на касательном пространстве, не меняющаяся при линейных преобразованиях переменных. Гессианом также часто называют и определитель матрицы $(a_{ij}),$$(a_{ij}),$ см. ниже.

Матрица ГессеПравить

Матрица этой квадратичной формы образована вторыми частными производными функции. Если все производные существуют, то

$H(f)={\begin{bmatrix}{\frac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\\\{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}}$ 

Определитель этой матрицы называется определителем Гессе, или просто гессианом.

Матрицы Гессе используются в задачах оптимизации методом Ньютона. Полное вычисление матрицы Гессе может быть затруднительно, поэтому были разработаны квазиньютоновские алгоритмы, основанные на приближённых выражениях для матрицы Гессе. Наиболее известный из них — алгоритм Бройдена — Флетчера — Гольдфарба — Шанно.

Симметрия матрицы ГессеПравить

Смешанные производные функции f — это элементы матрицы Гессе, стоящие не на главной диагонали. Если они непрерывны, то порядок дифференцирования не важен:

$\frac{\mathrm{\partial <!--\; \partial \; -->}}{\mathrm{\partial <!--\; \partial \; -->}{x}_i}\left(\frac{\mathrm{\partial <!--\; \partial \; -->}f}{\mathrm{\partial <!--\; \partial \; -->}{x}_j}\right)=\frac{\mathrm{\partial <!--\; \partial \; -->}}{\mathrm{\partial <!--\; \partial \; -->}{x}_j}\left(\frac{\mathrm{\partial <!--\; \partial \; -->}f}{\mathrm{\partial <!--\; \partial \; -->}{x}_i}\right)$${\frac {\partial }{\partial x_{i}}}\left({\frac {\partial f}{\partial x_{j}}}\right)={\frac {\partial }{\partial x_{j}}}\left({\frac {\partial f}{\partial x_{i}}}\right)$ 

Это можно также записать как

$f_{x_i{x}_j}=f_{x_j{x}_i},\mathrm{\forall <!--\; \forall \; -->}i,j\in <!--\; \in \; -->\{1,\dots <!--\; \dots \; -->,n\}.$$f_{{x_{i}x_{j}}}=f_{{x_{j}x_{i}}},\quad \forall i,j\in \{1,\ldots ,n\}.$ 

В этом случае матрица Гессе симметрична.

Критические точки функцииПравить

Если градиент $f$$f$  (её векторная производная) равен нулю в некоторой точке $x_0$$x_{0}$ , то эта точка называется критической. Достаточным условием существования экстремума в этой точке является знакоопределённость гессиана f (понимаемого в данном случае как квадратичная форма), а именно:

• если гессиан положительно определён, то $x_0$$x_{0}$  — точка локального минимума функции $f(x)$$f(x)$ ,
• если гессиан отрицательно определён, то $x_0$$x_{0}$  — точка локального максимума функции $f(x)$$f(x)$ ,
• если гессиан не является знакоопределённым (принимает как положительные, так и отрицательные значения) и невырожден $(detH(f)\ne <!--\; \ne \; -->0)$$(\det H(f)\neq 0)$ , то $x_0$$x_{0}$  — седловая точка функции $f(x)$$f(x)$ .

Вариации и обобщенияПравить

Вектор-функцииПравить

Если $f$$f$  — вектор-функция, то есть

$f=(f_1,f_2,\dots <!--\; \dots \; -->,f_n),$$f=(f_{1},f_{2},\dots ,f_{n}),$ 

то её вторые частные производные образуют не матрицу, а тензор ранга 3, который можно рассматривать как массив из $n$$n$  матриц Гессе:

$H(f)=\left(H(f_1),\dots <!--\; \dots \; -->,H(f_n)\right).$$H(f)=\left(H(f_{1}),\ldots ,H(f_{n})\right).$ 

При $n=1$$n = 1$  данный тензор вырождается в обычную матрицу Гессе.

Окаймлённый гессианПравить

При решении задачи нахождения условного экстремума функции $f:{\mathbb{R}}^n\to <!--\; \to \; -->\mathbb{R}$$f:\mathbb {R} ^{n}\rightarrow \mathbb {R}$  с ограничениями

$\{\begin{array}{c}{g}_1(x)=0,\\ ⋮<!--\; ⋮\; -->\\ g_m(x)=0,\end{array}$$\left\{{\begin{array}{c}g_{1}(x)=0,\\\vdots \\g_{m}(x)=0,\end{array}}\right.$ 

где $x\in <!--\; \in \; -->{\mathbb{R}}^n$$x \in \mathbb{R}^n$ , $m<n$ , для проверки достаточных условий экстремума можно использовать так называемый окаймлённый гессиан функции Лагранжа $L(x,\mathrm{\lambda <!--\; \lambda \; -->})$$L(x,\lambda )$ , который будет иметь вид

$\left({\begin{array}{cc}{\dfrac {\partial ^{2}L}{\partial x^{2}}}&{\dfrac {\partial ^{2}L}{\partial x\partial \lambda }}\\\left({\dfrac {\partial ^{2}L}{\partial x\partial \lambda }}\right)^{\mathrm {T} }&{\dfrac {\partial ^{2}L}{\partial \lambda ^{2}}}\end{array}}\right)=\left({\begin{array}{cccccc}{\dfrac {\partial ^{2}L}{\partial x_{1}^{2}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{1}\partial x_{n}}}&{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{1}}}\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial ^{2}L}{\partial x_{n}\partial x_{1}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{n}^{2}}}&{\dfrac {\partial g_{1}}{\partial x_{n}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{n}}}\\{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{1}}{\partial x_{n}}}&0&\ldots &0\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial g_{m}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{n}}}&0&\ldots &0\end{array}}\right).$ 

Проверка достаточных условий экстремума заключается в вычислении знаков детерминантов определённого набора подматриц окаймлённого гессиана. Именно, если существуют $x^{\ast <!--\; \ast \; -->}\in <!--\; \in \; -->{\mathbb{R}}^n$$x^{*}\in \mathbb {R} ^{n}$  и ${\mathrm{\lambda <!--\; \lambda \; -->}}^{\ast <!--\; \ast \; -->}\in <!--\; \in \; -->{\mathbb{R}}^m$$\lambda ^{*}\in \mathbb {R} ^{m}$  такие, что $\mathrm{\nabla <!--\; \nabla \; -->}L(x^{\ast <!--\; \ast \; -->},{\mathrm{\lambda <!--\; \lambda \; -->}}^{\ast <!--\; \ast \; -->})=0$$\nabla L(x^{*},\lambda ^{*})=0$  и

$(-1)^{m}{\mbox{det}}\left({\begin{array}{cccccc}{\dfrac {\partial ^{2}L}{\partial x_{1}^{2}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{1}\partial x_{p}}}&{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{1}}}\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial ^{2}L}{\partial x_{p}\partial x_{1}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{p}^{2}}}&{\dfrac {\partial g_{1}}{\partial x_{p}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{p}}}\\{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{1}}{\partial x_{p}}}&0&\ldots &0\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial g_{m}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{p}}}&0&\ldots &0\end{array}}\right)>0$ 

для $p=m+1,\dots <!--\; \dots \; -->,n$$p=m+1,\ldots ,n$ , то в точке $x^{\ast <!--\; \ast \; -->}$$x^{*}$  функция $f$$f$  имеет строгий условный минимум. Если же

$(-1)^{p}{\mbox{det}}\left({\begin{array}{cccccc}{\dfrac {\partial ^{2}L}{\partial x_{1}^{2}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{1}\partial x_{p}}}&{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{1}}}\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial ^{2}L}{\partial x_{p}\partial x_{1}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{p}^{2}}}&{\dfrac {\partial g_{1}}{\partial x_{p}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{p}}}\\{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{1}}{\partial x_{p}}}&0&\ldots &0\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial g_{m}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{p}}}&0&\ldots &0\end{array}}\right)>0$ 

для $p=m+1,\dots <!--\; \dots \; -->,n$$p=m+1,\ldots ,n$ , то в точке $x^{\ast <!--\; \ast \; -->}$$x^{*}$  функция $f$$f$  имеет строгий условный максимум.

ИсторияПравить

Понятие введено Людвигом Отто Гессе (1844), который использовал другое название. Термин «гессиан» был введён Джеймсом Джозефом Сильвестром.

См. такжеПравить

• Якобиан
• Критическая точка (математика)
• Лемма Морса
• Критерий Сильвестра — критерий положительной или отрицательной определённости квадратной матрицы

СсылкиПравить

• Камынин Л.И. Математический анализ. Т. 1, 2. - 2001.
• Кудрявцев Л.Д «Краткий курс математического анализа. Т.2. Дифференциальное и интегральное исчисления функций многих переменных. Гармонический анализ», ФИЗМАТЛИТ, 2002, — 424 с. — ISBN 5-9221-0185-4. Или любое другое издание.
• Голубицкий М., Гийемин В. Устойчивые отображения и их особенности, — М.: Мир, 1977.