此篇文章主要针对Tikhonov正则化初学者了解Tikhonov泛函是怎样给出的以及解的推导。
Tikhonov正则化
首先我们先给出Tikhonov正则化方法
我们在学习研究反问题和正则化的文章时,往往会直接给出如上定理,但Tikhonov泛函和解的给出并没有作过多解释,因此,接下来的内容主要是推导和理解以上内容。
正则化
我们在解决如Ax=y的线性算子方程时,通常采用经典的最小二乘法估计,但是这种方法会导致过拟合或者产生方程的欠定解。解决过拟合的一种方法就是正则化方法。
-
最小二乘法
:最小二乘法的原则是以“残差平方和最小”确定直线位置。 -
过拟合
:过度拟合的问题通常发生在变量过多的时候。这种情况下训练出的方程总是能很好的拟合训练数据。但是,这样的曲线千方百计的去拟合训练数据,导致它无法泛化(模型能够应用到新样本的能力)到新的数据样本中,以至于无法预测新样本。 -
惩罚项
:所谓『惩罚』是指对损失函数中的某些参数做一些限制。引入正则化项之后,会提高抗干扰能力,提高泛化能力。
Tikhonov逼近式推导
得到Tikhonov泛函后,只需要求解使泛函最小值成立的X即可。
通过微分求解,得到的逼近式结果同上面的(2.8)结果相同。
线性算子角标不同的原因
:K*代表K的转置共轭,在推导时我们默认其为实矩阵。(相关内容可参考广义逆)
关于此文章有什么问题欢迎在评论区与我讨论~
参考文献:
郑恩希.几种不适定问题的正则化方法及其数值实现[D].吉林大学,2009.
王彦飞.反问题的优化与正则化算法[D].中国科学院,2002.
版权声明:本文为F_ffff___原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。