概率论是研究随机现象数量规律的一门学科，其实我感觉还是比较有意思的。比如这样的一个小问题，已知一个家庭有两个小孩，其中一个孩子是女孩，请问另外一个孩子还是女孩的概率是多大？我问过身边的几个人，很多人的第一反应都是1/2，但真的是这样吗？我们仔细想一下，一个家庭有两个孩子，那么男男，男女，女男，女女的可能性都是1/4，现在又已知其中一个孩子是女孩，那么只剩下后面三种可能性，另外一个孩子还是女孩的概率是不是1/3呢，哈哈，很有道理吧。其实还有很多概率论上的东西会与我们的常识不太符合，但这正是它的魅力所在啊。最近听了一门机器学习的课，就在这里写写自己的学习总结吧，这一篇是关于概率论的基础知识。
-
基础概念
-
概率P，其值域为[0,1]，对于离散/连续变量而言，P(x=x0)分别表示x0发生的概率和概率密度。这里有个有意思的地方，如果概率为0，事件一定不不发生吗？直观感觉是这样，但事实并不是。对于离散变量这个结论是成立的，而对于连续变量，其单一点的测度无法衡量为0，就会出现概率为0但仍有可能发生的情况，比如[0,1]上的均匀分布，P(x=0.5)的概率为0，但你能说就永远取不到0.5吗？
-
累计分布函数φ=P(x<=x0)，其值域依然是[0,1]。由于概率始终非负，所以其累加函数肯定是单调递增的。这里我们来思考一个问题，什么样的函数可以作为累计分布函数呢？要满足条件，值域[0,1]，单调递增就可以，这样的函数一定对应着某一种分布，如果该函数还可导的话，其导数为概率密度函数。
-
期望，事件与概率的加权均值。对于离散变量而言
，对于连续变量而言，
。期望有着一下这些属性，
,
,若X,Y独立则有
。
-
方差，用以描述随机变量与数学期望之间的偏离程度，定义为
，因为方差总大于0，所以平方的期望总大于期望的平方。方差有如下的属性，对常数c，
，
,
，若X,Y独立则有
。
-
协方差，用于衡量两个变量的整体误差，定义为
。协方差具有如下这些属性，
,
,
,
。所以当X,Y独立时，有协方差为0，但反过来，协方差为0，我们只能说两个变量不相关。
-
Pearson相关系数。首先协方差有个属性
，其证明可以通过构造变量
，然后求其平方的期望，根据该期望恒大于等于0证得。这里定义Pearson相关系数为
。
-
常见分布
-
两点分布。
,根据定义可以计算出
。
-
二项分布。相当于两点分布独立进行了n次，因此得到
。
-
泊松分布。概率函数
，根据定义可以计算出
。泊松分布通常用于当一个随机事件以固定的平均速率随机独立出现，那么单位时间内出现的次数近似服从泊松分布。
-
均匀分布。这非常好理解，在指定的区域其概率密度相等，对于区间[a,b]的均匀分布，其期望和方差分别是
。
-
指数分布。概率密度函数
,连续分布用积分分别算X和X平方的期望，进而得到指数分布的期望和方差
。指数分布有一个非常有意思的特性就是无记忆性，只要积分区间的差值一样其概率即积分值总是相等的。
-
正态分布。概率密度函数
。这大概是最最最常见的一种分布了，其期望和方差就是它的两个参数
。
-
Beta分布。要介绍Beta分布就要先介绍Gamma函数，Gamma函数是阶乘在是实数域的推广
，有
。然后对于Beta函数，其概率密度函数为
，其中X属于[0,1]，其期望的计算可以化为两个Gamma函数相除，最后有
。
-
写在最后
本来是想把这些期望，方差的计算过程都写出来，但CSDN写博客不支持公式的编辑，每写一个还得去转成图片贴过来，实在是太繁琐了，累觉不爱所以就简单地写下这几种常见的分布及其期望和方差的值。其实推导也不难，两点分布就不用说了，二项分布主要用到了二项式的展开，指数分布则是分布积分，而正态分布则用到了换元和
，Beta分布主要是Gamma函数。
我天，本来都准备结束了，突然想到漏了一个特别特别重要的东西……果然是脑子瓦特了
条件概率公式
全概率公式
基于以上两个公式可以推导出一个应用十分十分十分广泛的东西，贝叶斯公式
全概率公式意义：一件事情A可以由很多事情引起，那么这件A发生的概率等于每件事情发生的概率乘以每件事情导致A发生的概率。
贝叶斯公式：同样，A可以由很多事情引起，已经知道A发生了，那么导致A发生的每件事情的概率可以用贝叶斯公式算出。
好了，就这样吧，下次接着写。