博客

问题描述：

模型为：f（x）=y

将y尽可能拟合到观测值上时，求解x是多少

目标：

min|| 模型 – 观测值 ||

数学表示为：

其中e为残差向量(residual vector)

方法：

非线性最小二乘法 之 高斯牛顿法（还有）

高斯牛顿法是一种求解非线性最小二乘的简单算法，该算法的基本思想是将函数非线性F(x)进行一阶泰勒展开。（不细讲了）

用法步骤：

可见在4中

的步长λ为1

记为

则

（此处的A矩阵其实是Hessian矩阵的近似。通过雅克比矩阵去避免掉真是的Hessian矩阵的计算。）

比牛顿法（基本思想是采用多项式函数来逼近给定的函数值，然后求出极小点的估计值，重复操作，直到达到一定精度为止）计算少。

为了保证所迭代求解出的x为函数的局部最小值，我们需要保证A矩阵为正定的，但是在实际中H矩阵很有可能是半正定的或者其他情况，因此可能会发生算法不收敛或结果不准确的情况。