极大似然估计的理解与应用

  • Post author:
  • Post category:其他


因为之前看高数的时候,没有去深究它背后的用法。后面突然想到,我学习知识的目的就是为了解决问题,如果知识背后的应用都没搞懂的话,那学了又有什么意思呢。于是有如下探讨:

极大似然估计是概率论中一个很常用的估计方法,在机器学习中的逻辑回归中就是基于它计算的损失函数。

背景

先来看看几个小例子:

  • 猎人师傅和徒弟一同去打猎,遇到一只兔子,师傅和徒弟同时放枪,兔子被击中一枪,那么是师傅打中的,还是徒弟打中的?
  • 一个袋子中总共有黑白两种颜色100个球,其中一种颜色90个,随机取出一个球,发现是黑球。那么是黑色球90个?还是白色球90个?

看着两个小故事,不知道有没有发现什么规律…由于师傅的枪法一般都高于徒弟,因此我们猜测兔子是被师傅打中的。随机抽取一个球,是黑色的,说明黑色抽中的概率最大,因此猜测90个的是黑色球。

他们有一个共同点,就是我们的猜测(估计),都是基于一个理论:

概率最大的事件,最可能发生


也即是p(师傅|射中)——>在射中的情况下,是师傅射中的概率最大


同理,在第二个例子中 p(取出黑球|取球)——>是黑球的概率最大

其实我们生活中无时无刻不在使用这种方法,在数理统计中,它有一个专业的名词:


极大似然估计(maximum likelihood estimation, MLE),通俗的说就是 —— 最像估计法(最可能估计法)


与其likelihood这个单词一样,相当于某事发生的前提下,与其有关的概率最大的那个就是我们要求的结果

举个实际例子:

我们在学校衡量学习成绩的标准就是考试成绩,高考更是一考定终身的感觉。高考成绩的好坏,则可以当做一个学生能力的体现,虽然有的人考试紧张考砸了,有的人超常发挥了,但是从概率上来说,高考的成绩基本可以判断这个人的(学习)能力。基于极大似然的解释就是,我们高考的成绩很大程度上反应了平时的学习能力,因此考得好的(当前发生的事件),可以认为是学习好的(所有事件发生概率最大的)。

再举个射箭的例子:

在《权力的游戏》中有个场景,老徒利死的时候,尸体放在穿上,需要弓箭手在岸边发射火箭引燃。但是当时的艾德慕·徒利公爵射了三箭都没中,布林登·徒利实在看不下去了,通过旗帜判断风向,一箭命中!

因此箭能否射中靶心,不仅跟弓箭手的瞄准能力有关,还跟外界的风向有关系。假设不考虑人的因素,但看风向…同样的瞄准和力度,风太大不行、太小也不行….那我们给风的大小设置一个值为θθ。假设一名弓箭手射出了三只箭,分别是8环、6环、7环(即x1=8×1=8,×2=6×2=6,×3=7×3=7),当天风的大小为88。那么我们认为只有θ=88θ=88,发生上面事件的概率最大。

基于以上说法,下面给出数字表示:



以上的例子都是基于下面这个链接,仅为了彼此理解。无其他目的。如果还是有不太清晰的地方可以发送到1710778006@qq.com,我会再重新和你讲解。

参考:


https://www.cnblogs.com/xing901022/p/8418894.html



版权声明:本文为qiu_huouho原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。