海森矩阵(Hessian Matrix)与泰勒展开式:
一元泰勒展开式:
定理:设n为一正整数,若定义在一个包含
α
\alpha
α
的区间上的函数f在
α
\alpha
α
点处n+1次可导,那么对于这个区间上的任意x1都有:
f
(
x
)
=
f
(
α
)
+
f
1
(
a
)
1
!
(
x
−
α
)
+
f
2
(
a
)
2
!
(
x
−
α
)
2
+
.
.
.
+
f
n
(
a
)
n
!
(
x
−
α
)
n
+
R
n
(
x
)
f(x) = f(\alpha ) + \frac{
{f}^{1}(a)}{1!}(x-\alpha )+\frac{
{f}^{2}(a)}{2!}(x-\alpha )^{2}+…+\frac{
{f}^{n}(a)}{n!}(x-\alpha )^{n}+R_{n}(x)
f
(
x
)
=
f
(
α
)
+
1
!
f
1
(
a
)
(
x
−
α
)
+
2
!
f
2
(
a
)
(
x
−
α
)
2
+
.
.
.
+
n
!
f
n
(
a
)
(
x
−
α
)
n
+
R
n
(
x
)
其中的多项式称为函数在
α
\alpha
α
处的泰勒展开式,剩余的
R
n
(
x
)
R_{n}(x)
R
n
(
x
)
是泰勒公式的余项,是
(
x
−
α
)
n
(x-\alpha)^{n}
(
x
−
α
)
n
的高阶无穷小.
多元泰勒展开式
f
(
x
)
=
f
(
x
0
)
+
▽
f
(
x
0
)
T
△
x
+
1
2
△
x
T
G
(
x
0
)
△
x
+
.
.
.
f(x)=f(x_{0})+\bigtriangledown f(x_{0})^{T}\bigtriangleup x+\frac{1}{2}\bigtriangleup x^{T}G(x_{0})\bigtriangleup x+…
f
(
x
)
=
f
(
x
0
)
+
▽
f
(
x
0
)
T
△
x
+
2
1
△
x
T
G
(
x
0
)
△
x
+
.
.
.
其中
▽
f
(
x
0
)
=
[
ϑ
f
ϑ
x
1
ϑ
f
ϑ
x
2
]
\bigtriangledown f(x_{0})=\begin{bmatrix} & \frac{\vartheta f}{\vartheta x_{1}}\\ & \frac{\vartheta f}{\vartheta x_{2}} \end{bmatrix}
▽
f
(
x
0
)
=
[
ϑ
x
1
ϑ
f
ϑ
x
2
ϑ
f
]
倒三角为一阶导,G(x0)为二阶导