博客

【统计学习方法】多维高斯分布

  • Post author:
  • Post category:其他

1 基本概念

1.1 方差与协方差

协方差就是衡量两个变量相关性的变量。当协方差为正时，两个变量呈正相关关系（同增同减）；当协方差为负时，两个变量呈负相关关系（一增一减）。 而协方差矩阵，只是将所有变量的协方差关系用矩阵的形式表现出来而已。通过矩阵这一工具，可以更方便地进行数学运算。

方差：Var(X) = \frac{\sum_{i}^{n} (x_i-\bar{x})(x_i-\bar{x})}{n-1}

 

协方差：Cov(X,Y) = \frac{\sum_{i}^{n}(x-\bar{x})(y-\bar{y})}{n-1}

 

1.2 协方差矩阵

根据方差的定义，给定 d 个随机变量 x_k,k=1,2,3,4... ，则这些随机变量的方差为

 

Var(X) = \frac{\sum_{i}^{n} (x_{ki}-\bar{x_k})^2}{n-1}

其中，为方便书写， x_{ki} 表示随机变量 x_{k} 中的第 i 个观测样本， n 表示样本量，每个随机变量所对应的观测样本数量均为 n 。

对于这些随机变量，我们还可以根据协方差的定义，求出两两之间的协方差，即

Cov(X_k,X_m) = \frac{\sum_{i}^{n}(x_{ki}-\bar{x_{k}})(x_{mi}-\bar{x_{m}})}{n-1}

因此，协方差矩阵为

\begin{bmatrix} \quad Cov(x_1,x_1) ... \quad Cov(x_1,x_d) & & & & \ \quad.& & & & \ \quad.& & & & \ \quad.& & & & \ \quad Cov(x_d,x_1) ... \quad Cov(x_d,x_d) & & & & \end{bmatrix}

1.3 一维高斯函数公式

N(x|\mu,\sigma ^2) = \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}

1.4 矩阵的逆

如果n阶矩阵A，如果存在n阶矩阵B，使AB = BA = E，则矩阵A成为可逆矩阵，B成为A的逆矩阵。

1.5 雅克比矩阵和雅克比行列式

在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式

 

1.6  海森Hessian矩阵

在数学中, 海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵, 此函数如下：

 

2 高维高斯分布和公式推导

2.1 高维高斯函数

 

高维高斯函数：

N(\bar{x}|\bar{\mu},\Sigma ) = \frac{1}{(2\pi)^{\frac{D}{2}}}\frac{1}{|\Sigma|^{\frac{1}{2}}}e^{-\frac{(x-\bar{\mu})^T\Sigma^{-1}(\bar{x}-\bar{\mu})}{2}}

2.2 从一维高斯函数推导高维高斯函数

 

 

参考：

协方差矩阵

如何直观地理解「协方差矩阵」？

多维高斯分布

 

版权声明：本文为idwtwt原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。