似然函数,极大似然估计(一文搞定,能用嘴说的不堆公式)

  • Post author:
  • Post category:其他


总体思想:已知结果,求概率密度函数

输入:已知一个抽样样本的规律,一个存在未知量的概率密度函数

输出:求得概率密度函数的未知量,获得分布规律

例子:1000个胃癌患者中,抽出100人调查体重值,我们大概能用一个函数描述出概率密度函数和体重的关系,f(a,b,c),但是我们不知道a,b,c,我们需要一种方法求a,b,c

我们会说了,我们已经抽出了一个样本,我们可以直接求概率分布,用小样本代替整体的分布……是可以这样的,然而,问题来了……怎们求?

用最小二乘么?让我们的概率密度函数拟合我们的数据?这个不是一个凸函数,很可能出现局部极小值。。。。。种种。。。就有神级人物提出了似然函数

这里一个比较重要的概念是,我们从总体中抽出了一个样本(100人),我们为什么会抽出这个样本?因为在当前的概率密度下,这个样本出现的可能性最大呀!!!!就像从逛街的商场(总样本)中抽出100人(小样本),我会问了,你大概猜测一下这是个男生多的样本还是女生多的样本(抽出的该样本的概率),你肯定会说是女生多呀(抽出当前样本的概率最大)!!!

因为我们抽取是随机抽取,因此每个个体之间互不干扰,这个样本出现的概率是每个类别出现概率的乘积

比如:我们假设的概率是男生出现概率为ax+b/c,女生出现的概率为ax+b/c,x这里定义为男生为1,女生为0。

100个人的样本的概率为(ax1+b/c)*(ax2+b/c)*…………*(ax100+b/c)

加入统计的顺序为男女……女,那么结果为(a+b/c)(b/c)……(b\c)

我们要让这个样本的概率最大(过程中,我们就求出了我们的a、b、c,也就意味着我们的概率密度函数也就得到了)(当然上面只是二郎想到的例子,没有任何数学严谨性)

这里的100个人的样本概率用符号表示

在这里插入图片描述

我们让样本概率最大的问题

在这里插入图片描述

这里会看到有很多的相乘,为了计算简便,采用对数将乘换为加

在这里插入图片描述

然后求导,导数为0,即为我们的极值

给几道例题就更清楚了

习题来自百度文库

https://wenku.baidu.com/view/437fdabecaaedd3382c4d3d3.html

在这里插入图片描述

在这里插入图片描述



版权声明:本文为a6333230原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。