假阳率(第一类错误)、假阴率,召回率、精确率

  • Post author:
  • Post category:其他


为什么统计检验中常关注假阳率(第一类错误)和假阴率(第二类错误),而机器学习中常关注准确率和精确率?



最根本的原因是统计检验的零假设和备择假设是“不平等“的两类


。而机器学习的分类一般认为每一类都是”平等的“。对于”不平等“的两类,笼统地计算平均准确率逻辑上说不通。

1. 原假设的定义:原假设亦称待验假设、虚无假设、解消假设,一般记为H0。统计学的基本概念之一假设检验中,待检验的有关总体分布的一项命题的假设称为原假设。

2. 备择假设的定义:备择假设是统计学的基本概念之一,其包含关于总体分布的一切使原假设不成立的命题。备择假设亦称对立假设、备选假设。一般记为写为H1。


假设检验的基本思想是概率性质的反证法

。根据所考察问题的要求提出原假设和备择假设,为了检验原假设是否正确,先假定原假设是正确的情况下,构造一个小概率事件,然后根据抽取的样本去检验这个小概率事件是否发生。

如果在一次试验中小概率事件竟然发生了,我们就怀疑原假设原假设的正确性,从而拒绝原假设。如果在一次试验中小概率事件没有发生,则没有理由怀疑原假设原假设的正确性,因此接受原假设。


确立原假设与备择假设时应遵循以下两个原则:

1.


原假设是在一次试验中有绝对优势出现的事件,而备择假设在一次试验中不易发生(或几乎不可能发生)的事件


。因此,在进行单侧检验时,最好把原假设取为预想结果的反面,即把希望证明的命题放在备择假设上。

2. 将可能犯的严重错误看作第一类错误,因为犯第一类错误的概率可以通过a的大小来控制。犯第二类错误的概率是无法控制的。如医生对前来问诊的病人作诊断时,可能会犯“有病看成无病”或者“无病看成有病’的错误,相比较而言,“无病看成有病“的错误更严重,故应将“问诊人有病”作为原假设。而在某项疾病普查中,将“被检查人有病’作为原假设就不恰当了(如核酸筛查,H0为阴性)。

假设检验的最终目的是:

去伪存真

那么它对应的两类错误就是

弃真存伪。


接受或拒绝


H


0,都可能犯错误:

I类错误——弃真错误,发生的概率为α

II类错误——取伪错误,发生的概率为β

Ⅰ型错误又称第一类错误(type Ⅰ error):拒绝了实际上成立的,为“弃真”的错误,其概率通常用α表示。可取单尾也可取双尾,假设检验时研究者可以根据需要确定值大小,一般规定α=0.05或α=0.01,其意义为:假设检验中如果拒绝时,发生Ⅰ型错误的概率为5%或1%,即100次拒绝的结论中,平均有5次或1次是错误的。

所以又称假阳性错误。


第一类错误—弃真错误:


即H0本来正确,却拒绝了它,犯这类错误的概率不超过α,即P{拒绝H0/H0为真}≤α

可能产生的原因:

1.样本中极端数值

2.采用决策标准较宽松


第二类错误—取伪错误


即H0本不真,却接受了他,犯这类错误的概率记为β,即P{接受H0/H1为真}=β

可能产生原因:

1:实验设计不灵敏

2.样本数据变异性过大

3.处理效应本身比较小


两类错误的关系:

1:α与β是在两个前提下的概率,所以α+β不一定等于1

2:在其他条件不变的情况下,α与β不能同时增加或减少(因为对于同一个H0,一个拒绝一个接受)

当其他条件不变的情况下,α和β不可能同时增大或者减小。也就是说只改变影响β的因素或者只改变影响α的因素时,会影响到对方呈反方向变化。


那么什么时候可以减少两类错误呢?

那就是把

样本量放大,误差越小,两类错误都更小

。这就是改变了其他条件。

统计学中的假设检验内核就包含这样的哲学,比如假设检验的基础 Neyman-Pearson引理:如果两类错误不能同时降低,那咱们就先控制一个压制在一个范围内,然后专心让另一个尽量低。人生大概也是这样,如果不能两全其美,那就一点集中,登峰造极。

首先需要弄清的是,我们到底“假设”了什么?我们的假设叫做“零假设”。比如有一种诊断方法,好比说叫NewC吧。现在要用在人身上,那么零假设是什么呢?就是说得

先假设检测对象没病

,然后给测一个NewC,一看,跟之前做研究搞出来的参考值差别不大,看来还不能说有病。假如说一看,和正常值偏差太多了,按照前期的研究,95%的正常人都不可能是偏差那么多,那也就是说我有95%的把握说,检测对象现在有了病。但假如检测对象恰恰就是那5%的骨骼清奇的练武奇才,我就犯了第一类错误。为什么这么说呢?因为我们原来的假设是你没病,而且你确实没病,但我却把原来的假设拒绝掉,认为你有病了,所以我这个检查误报了,而且确实是“假阳性”。


而“去真”的“真”说的是什么呢?其实是“没病”是真,有病是假,也就是说“零假设”为真


,我却把这个假设给拒绝了。

第一类错误又称为弃真错误,是将原本正确的H0拒绝了,接受了错误的H1。

H0就相当于(-)(即大部分情况,没有确凿证据一般不会推翻的假设)

,H1(+),则从(-)到(+),就是假阳性的过程,将实际的阴性当成阳性结果了。第二类错误就是将不成立的H0(-)取了,则是实际上正确的H1(+)没取,从(+)到(-),取伪。


统计学假设检验的两类错误_Andy_shenzl的博客-CSDN博客_假设检验的两类错误


假设检验的两类错误 – 知乎