1.4.0
参数估计基础
在实际问题中，发现信号的基础上，还需要测定信号的参数，但由于信号要受到随机噪声的污染，不可能精确的测定信号的参数，需要使用统计估计的方法尽可能精确地对其估计。如果信号参数是随机变量或非随机的未知量，则称为信号的参数估计；若被估计量是随机过程或者非随机的未知过程，则称为波形估计或状态估计。因此，信号的参数估计是指被估计参数在观测时间内不随时间变化，属静态估计；波形或状态估计涉及的信号参数是随时间变化的，属动态估计。
为了对信号的参数做出估计，需要获得观测数据。设观测方程为
，k=1,2,…,N
其中，
是第k次观测值；
是被估计量；
是第k次测量噪声；
是已知的观测系数。
现在的问题是根据N次观测值
按照某种最佳估计准则，对参数
做出估计。即构造一个观测量的函数，即
，作为参数
的估计值。
如果被估计量是p维矢量
，那么观测方程一般可以表示为
，k=1,2,…,N
式中，
是第k次观测的q维观测矢量，
是p维被估计矢量，
是第k次观测的q维观测噪声矢量，
是
阶观测矩阵。
信号参数估计的统计模型
1.4.1 常用代价函数与贝叶斯估计
在信号估计问题中，因为被估计问题θ和估计量
是连续随机变量。所以每一对
分配一个代价函数
。代价函数C是θ和
两个变量的函数。
但实际上，我们把它规定为误差
的函数，即
，是估计误差的但变量函数。
The cost function C(x) is typically one of the following ：
1.4.1.1 误差平方代价函数(Quadratic Cost Solution)
(MMSE estimator)
1.4.1.2 误差绝对值代价函数(Absolute Cost Solution)
(posteriori median estimator)
1.4.1.3 均匀代价函数(Hit-or-miss)
(Maximum a Posteriori (MAP) estimator)
除上述三种之外，还可以选择其他形式的代价函数，但无论何种形式的代价都应满足两个特性：非负性和误差
趋于零的最小性。
1.4.1.4 贝叶斯估计
被估计量
是随机变量，其先验概率密度为
，那么
是随机参量
和观测量z的函数，因此，平均代价
为：
使平均代价
最小的估计
就是贝叶斯估计。
利用概率论中的条件概率公式
平均代价公式可改写为
由于上式对
的内积分非负，因而C最小等效为内积分最小，即
称为条件平均代价。它对
求最小，就能得到参量
的贝叶斯估计
Bayesian estimators are defined by a minimization problem which seeks for the value of
that minimizes the average cost.
1.4.2 最小均方误差估计
使用平方代价函数的贝叶斯估计使最小均方误差估计
推导：
将平方代价函数的条件平均代价用
表示，
使条件平均代价最小的一个必要条件是上式对
，求导并令结果等于0来求得最佳的
，即
因为
所以
求二阶导
故
是对应的平均代价的极小值，由于它使均方误差估计最小，因而称为最小均方误差估计。由于
也是
的条件均值
，故最小均方误差估计又称条件均值估计。
1.4.3最大后验估计
对于均匀代价函数，条件平均代价用
表示为
其中
是使条件代价
最小的估计量，欲使
最小，需使右边积分值最大。应当选择
使它处于后验概率密度
最大处的
值，这样求得的估计量称为最大后验概率估计，记为
。
如果最大值处于
的允许范围内，且
有连续的一阶导数，则获得最大值的必要条件是
因为自然对数是自变量的单调函数，所以有
上式称为最大后验方程，利用上式求解时，每一种情况下都需要检验所求得的解是否绝对最大。
1.4.4 最大似然估计
利用贝叶斯公式
将最大后验方程写成
当被估计量
是未知先验分布的随机参量或是非随机未知参量时，上式含有未知量，不能采用上式求估计值。这时设想只用其中的第一项，即取似然函数
的最大值对应的
作为估计量，则称之为最大似然估计，其估计量记为
，可由方程：
或
求得。第二个对数求导公式称为最大似然方程。
由于ML没有或不能利用被估计参量的先验知识，因而其估计质量一般说要比贝叶斯估计差，也就是说，比最大后验估计差。
一个例子看懂最大后验（使用Hit or Miss代价函数的贝叶斯估计）和极大似然的区别
小明今天没来上学，三个可能的Hypothesis（θ）：
小明今天生病了 / 美国总统特朗普会见小明 / 地球遭受陨石撞击
用极大似然（MLE）估计出来的θ_hat(对θ的估计)是“地球遭受陨石撞击”，因为
Likelihood（小明今天没来上学|地球遭受陨石撞击）= 1
而用最大后验求出来的是“小明今天生病了”，因为考虑了先验——“地球毁灭”和“特朗普会见小明”的概率都远低于“小明今天生病了”。
用“
奥卡姆剃刀
”解释这个现象是模型越复杂（宇宙模型》国际关系模型》生活模型），出现的（先验）概率越低。