Hessian海森矩阵与牛顿最优化方法

Hessian矩阵

在数学中, 海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵, 此函数如下：

$f({x_1},{x_2} \ldots ,{x_n})$

如果

$f$
的所有二阶导数都存在, 那么

$f$
的海森矩阵即：

$H{(f)_{ij}}(x) = {D_i}{D_j}f(x)$

其中

$x = ({x_1},{x_2} \ldots ,{x_n})$
, 即

$H(f)$
为:

⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial 2 f \partial x 2 1 \partial 2 f \partial x 2 \partial x 1 ⋮ \partial 2 f \partial x n \partial x 1