传统Tikhonov(L2)正则化逼近公式推导

  • Post author:
  • Post category:其他


此篇文章主要针对Tikhonov正则化初学者了解Tikhonov泛函是怎样给出的以及解的推导。



Tikhonov正则化

首先我们先给出Tikhonov正则化方法
在这里插入图片描述

我们在学习研究反问题和正则化的文章时,往往会直接给出如上定理,但Tikhonov泛函和解的给出并没有作过多解释,因此,接下来的内容主要是推导和理解以上内容。



正则化

我们在解决如Ax=y的线性算子方程时,通常采用经典的最小二乘法估计,但是这种方法会导致过拟合或者产生方程的欠定解。解决过拟合的一种方法就是正则化方法。

在这里插入图片描述


  1. 最小二乘法

    :最小二乘法的原则是以“残差平方和最小”确定直线位置。

  2. 过拟合

    :过度拟合的问题通常发生在变量过多的时候。这种情况下训练出的方程总是能很好的拟合训练数据。但是,这样的曲线千方百计的去拟合训练数据,导致它无法泛化(模型能够应用到新样本的能力)到新的数据样本中,以至于无法预测新样本。

  3. 惩罚项

    :所谓『惩罚』是指对损失函数中的某些参数做一些限制。引入正则化项之后,会提高抗干扰能力,提高泛化能力。



Tikhonov逼近式推导

在这里插入图片描述

得到Tikhonov泛函后,只需要求解使泛函最小值成立的X即可。

通过微分求解,得到的逼近式结果同上面的(2.8)结果相同。


线性算子角标不同的原因

:K*代表K的转置共轭,在推导时我们默认其为实矩阵。(相关内容可参考广义逆)

关于此文章有什么问题欢迎在评论区与我讨论~

参考文献:

郑恩希.几种不适定问题的正则化方法及其数值实现[D].吉林大学,2009.

王彦飞.反问题的优化与正则化算法[D].中国科学院,2002.



版权声明:本文为F_ffff___原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。