非线性最小二乘法之Gauss Newton、L-M、Dog-Leg
最快下降法
假设
h
T
F
′
(
x
)
<
0
，则h是
F
(
x
)
下降方向，即对于任意足够小的
α
>
0
，都满足
F
(
x
+
α
h
)
<
F
(
x
)
。
现在讨论
F
(
x
)
沿着h方向下降快慢：
lim
α
→
0
F
(
x
)
−
F
(
x
+
α
h
)
α
∥
h
∥
=
−
1
∥
h
∥
h
T
F
′
(
x
)
=
−
∥
∥
F
′
(
x
)
∥
∥
cos
θ
其中
θ
为矢量h和
F
′
(
x
)
夹角，当
θ
=
π
时，下降最大。
即
h
s
d
=
−
F
′
(
x
)
，是最快下降方向。
最小二乘问题
通常的最小二乘问题都可以表示为：
F
(
x
)
=
1
2
∑
i
=
1
n
(
f
i
(
x
)
2
)
=
1
2
∥
f
(
x
)
∥
2
=
1
2
f
(
x
)
T
f
(
x
)
找到一个
x
∗
使得
x
∗
=
a
r
g
m
i
n
x
F
(
x
)
，其中
x
=
[
x
1
x
2
⋯
x
m
]
，
f
(
x
)
=
[
f
1
(
x
)
f
2
(
x
)
⋯
f
n
(
x
)
]
。
假设对
f
(
x
)
第
i
个分量
f
i
(
x
)
在点
x
k
处Taylor展开,
f
i
(
x
k
+
h
)
≈
f
i
(
x
k
)
+
∇
f
i
(
x
k
)
T
h
，
i
=
1
,
2
⋯
n
则
f
(
x
k
+
h
)
≈
f
(
x
k
)
+
J
(
x
k
)
h
，其中Jacobin矩阵
J
(
x
k
)
=
⎡
⎣
⎢
⎢
⎢
⎢
⎢
∇
f
1
(
x
k
)
T
∇
f
2
(
x
k
)
T
⋮
∇
f
n
(
x
k
)
⎤
⎦
⎥
⎥
⎥
⎥
⎥
=
⎡
⎣
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
∂
f
1
(
x
k
)
∂
x
1
∂
f
2
(
x
k
)
∂
x
1
⋮
∂
f
n
(
x
k
)
∂
x
1
∂
f
1
(
x
k
)
∂
x
2
∂
f
2
(
x
k
)
∂
x
2
⋮
∂
f
n
(
x
k
)
∂
x
2
⋯
⋯
⋱
⋯
∂
f
1
(
x
k
)
∂
x
m
∂
f
2
(
x
k
)
∂
x
m
⋮
∂
f
n
(
x
k
)
∂
x
m
⎤
⎦
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
通常记
f
k
=
f
(