线性判别分析LDA
为了最优分类，我们要计算后验概率
P
(
G
|
X
)
。
设
f
k
(
x
)
是类
G
=
k
中
X
的类条件密度，而
π
k
是类
k
的先验概率，贝叶斯定理给出
P
(
G
=
k
|
X
=
x
)
=
f
k
(
x
)
π
k
∑
K
l
=
1
f
l
(
x
)
π
l
假定我们用多元高斯分布对每个类密度建模
f
k
(
x
)
=
1
(
2
π
)
p
/
2
|
Σ
k
|
1
/
2
e
x
p
(
−
1
/
2
(
x
−
μ
k
)
T
Σ
−
1
k
(
x
−
μ
k
)
线性判别分析假定所有类具有共同的协方差矩阵，即
Σ
k
=
Σ
这样，为了比较两个类，只需要考察对数比率
l
o
g
P
(
G
=
k
|
X
=
x
)
P
(
G
=
l
|
X
=
x
)
=
l
o
g
f
k
(
x
)
f
l
(
x
)
+
l
o
g
π
k
π
l
=
l
o
g
π
k
π
l
−
1
/
2
(
u
k
+
u
l
)
Σ
−
1
(
u
k
+
u
l
)
+
x
T
Σ
−
1
(
u
k
−
u
l
)
这是x上的线性方程。相等的协方差矩阵使得我们可以消去二次项，因此任意两个类别的判定边界都是一个超平面。
从上面的判别边界可以看出，线性判别函数
δ
k
(
x
)
=
l
o
g
π
k
−
1
/
2
u
k
Σ
−
1
u
k
+
x
T
Σ