先验概率、后验概率、最大似然等

  • Post author:
  • Post category:其他

在一个分类器中,denote:d是输入的数据,c是输出的类别,c=h(d)。那么h(d)就是输出的类别或者输出某类的概率。h就是模型的hypothesis。机器学习的过程就是从众多的hypothesis选择一个合适数据的hypothesis。可以理解为输入到输出的一个映射。


在上述的模型中:

P(h) 就是先验概率,指未看到任何数据前,hypothesis的概率分布。

P(d|h)是似然概率,指的是若某个hypothesis为true时,d出现的概率。以hypothesis慰条件便是似然概率。

P(d) 是d的边缘概率,就是d出现的概率。

P(h|d)是后验概率,指看到数据之后推测的hypothesis的概率分布。


可能说的还比较抽象,举个例子。现有一个不均匀的六面骰子,如何通过抛骰子推出抛到每个面的概率。


对于这个问题,hypothesis是所有的骰子可能的分布,比如骰子可能4的那一面重点,也可能1那一面重点,所有这种可能的假设的集合就是hypothesis。再具体点就是骰子抛到每个数字的概率。在这个模型中,

P(h)就是你还没抛骰子做实验之前别人告诉你的,这个骰子4那一面重一点的概率是0.3,1那一面重一点的概率是0.4等等。看到任何数据之前获知的模型的概率分布。

P(d|h)就是当骰子某一面重一点时抛到某个数字的概率。

P(d)就是多次抛骰子后统计得到的数字的出现概率。

P(h|d)抛了多次骰子后看到数据了,某个假设成立的概率。

好了,说清楚了。那么最大似然(maximum likelihood)和最大后验(maximum posteriori)又是什么呢。


关于这两者的不同,这篇文章讲得挺好的 http://www.cnblogs.com/emituofo/archive/2011/12/02/2271410.html


由于更多时候我们不知道先验概率p(h),所以使用最大似然求解的情况比较多。但最大似然求解的前提是hypothesis均匀分布,所以求解没有最大后验准确。











版权声明:本文为tangzy_原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。