一、关于正定矩阵的一些补充
在此之前，先讲一下
对称矩阵
中那些特征值为正数的矩阵，这样特殊的矩阵称为正定矩阵。其更加学术的定义是：
SS
S
是一个正定矩阵，如果对于每一个非零向量
xx
x
，
xT
S
x
>
0
x^TSx>0
x
T
S
x
>
0
- 正定矩阵的逆仍然是正定矩阵
- 两个正定矩阵的和仍然是正定矩阵
-
S=
A
A
T
S=AA^T
S
=
A
A
T
是正定的条件是矩阵
AA
A
的列是独立的
对于最后一个结论。矩阵
A
A
A
是一个
m
×
n
m\times n
m
×
n
普通的矩阵（有可能为长方形），那么对应的矩阵
A
T
A
A^TA
A
T
A
一定是对称矩阵。那么这样的
A
T
A
A^TA
A
T
A
是一个正定的吗？
A
A
T
AA^T
A
A
T
左乘
x
T
x^T
x
T
，右乘
x
x
x
x
T
A
T
A
x
=
(
A
x
)
T
(
A
x
)
=
∣
A
x
∣
2
≥
0
x^TA^TAx=(Ax)^T(Ax)=|Ax|^2\ge0
x
T
A
T
A
x
=
(
A
x
)
T
(
A
x
)
=
∣
A
x
∣
2
≥
0
要保证它一定是正定，
A
x
=
0
(
x
≠
0
)
Ax = 0(x\ne\bold0)
A
x
=
0
(
x
=
0
)
需要剔除， 这是我们熟悉的，只要
A
A
A
列满秩就一定只有零解，该条件自然剔除。所以结论是：
只要普通方阵列满秩，
A
A
T
AA^T
A
A
T
就一定是一个正定的对称矩阵
。
二、相似矩阵
对于
m
×
n
m\times n
m
×
n
矩阵：
A
A
A
和
B
B
B
是相似的，那么存在一些矩阵使得：
B
=
M
−
1
A
M
B=M^{-1}AM
B
=
M
−
1
A
M
事实上，我们已经接触过一种比较特殊的相似矩阵。假设
A
A
A
具有线性无关的特征向量，也就是存在特征矩阵
S
S
S
使得：
S
−
1
A
S
=
Λ
S^{-1}AS=\Lambda
S
−
1
A
S
=
Λ
用这节课的新概念来看， 矩阵
A
A
A
与对角矩阵
Λ
\Lambda
Λ
相似，与对角矩阵相似是一个特别简洁的情况。举个例子：
A
=
[
2
1
1
2
]
A=\begin{bmatrix}2&1\\1&2\end{bmatrix}
A
=
[
2
1
1
2
]
因为矩阵
A
A
A
是线性无关的，所以必然存在一个逆矩阵
S
S
S
使得：
S
−
1
A
S
=
Λ
=
[
3
0
0
1
]
S^{-1}AS=\Lambda=\begin{bmatrix}3&0\\0&1\end{bmatrix}
S
−
1
A
S
=
Λ
=
[
3
0
0
1
]
除了
S
S
S
很多其他可逆矩阵也可以使得：
M
−
1
A
M
=
B
M^{-1}AM=B
M
−
1
A
M
=
B
不过矩阵没有这么特殊罢了。比如：
[
1
−
4
0
1
]
[
2
1
1
2
]
[
1
4
1
0
]
=
[
−
2
−
15
1
6
]
=
B
\begin{bmatrix}1&-4\\0&1\end{bmatrix}\begin{bmatrix}2&1\\1&2\end{bmatrix}\begin{bmatrix}1&4\\1&0\end{bmatrix}=\begin{bmatrix}-2&-15\\1&6\end{bmatrix}=B
[
1
0
−
4
1
]
[
2
1
1
2
]
[
1
1
4
0
]
=
[
−
2
1
−
15
6
]
=
B
那么这两个矩阵
B
B
B
和
Λ
\Lambda
Λ
的共同点是什么呢？
它们的特征值相同！
相似矩阵具有相同的特征值
!
\color{red}相似矩阵具有相同的特征值!
相似矩阵具有相同的特征值
!
下面对这个结论进行证明：
A
x
=
λ
x
Ax=\lambda x\\\
A
x
=
λ
x
在
A
A
A
和
x
x
x
之间插入一个
M
−
1
M
M^{-1}M
M
−
1
M
有：
A
M
M
−
1
x
=
λ
x
AMM^{-1}x=\lambda x
A
M
M
−
1
x
=
λ
x
然后左右两边再乘以
M
−
1
M^{-1}
M
−
1
有：
M
−
1
A
M
M
−
1
x
=
λ
M
−
1
x
M^{-1}AMM^{-1}x=\lambda M^{-1} x
M
−
1
A
M
M
−
1
x
=
λ
M
−
1
x
加上括号有：
(
M
−
1
A
M
)
M
−
1
x
=
λ
M
−
1
x
(M^{-1}AM)M^{-1}x=\lambda M^{-1} x
(
M
−
1
A
M
)
M
−
1
x
=
λ
M
−
1
x
因为：
B
=
M
−
1
A
M
B=M^{-1}AM
B
=
M
−
1
A
M
，所以：
B
M
−
1
x
=
λ
M
−
1
x
BM^{-1}x=\lambda M^{-1}x
B
M
−
1
x
=
λ
M
−
1
x
把
M
−
1
x
M^{-1}x
M
−
1
x
看成一个向量，显然
λ
\lambda
λ
是矩阵
B
B
B
的特征向量，故相似矩阵相同的特征值，但是特征向量却发生了改变，变成了
M
−
1
x
M^{-1}x
M
−
1
x
接下来看一下特征值相同的矩阵，前面知识已知：如果特征值相同那么这个矩阵不可以进行对角化，这种情况是“不咋美丽”的情况，但是我们需要对其进行讨论：
假设我们的特征值
λ
1
=
λ
2
=
4
\lambda_1=\lambda_2=4
λ
1
=
λ
2
=
4
，特征值相同的矩阵可以分为两个阵营：
小阵营1：
[
4
0
0
4
]
\begin{bmatrix}4&0\\0&4\end{bmatrix}
[
4
0
0
4
]
这个阵营的矩阵只与自己相似。
大阵营2：
[
4
1
0
4
]
\begin{bmatrix}4&1\\0&4\end{bmatrix}
[
4
0
1
4
]
它是不能对角化的，因为如果可以对角化，那么就会相似于小阵营。上面的大阵营例子是一个若尔当标准型 （Jordan Form）。事实上，历史的某个时期，若尔当标准型还是压轴内容，现在不是了，最重要的一个原因就是一般的矩阵很难化简为若尔当标准型：条件特征值完全相等。还可以继续列举这样的矩阵：
[
5
1
−
1
3
]
[
4
0
17
4
]
\begin{bmatrix}5&1\\-1&3\end{bmatrix}\quad\begin{bmatrix}4&0\\17&4\end{bmatrix}
[
5
−
1
1
3
]
[
4
17
0
4
]
再列举一个大一些的矩阵：
[
0
1
0
0
0
0
1
0
0
0
0
0
0
0
0
0
]
\begin{bmatrix}0&1&0&0\\0&0&1&0\\0&0&0&0\\0&0&0&0\end{bmatrix}
0
0
0
0
1
0
0
0
0
1
0
0
0
0
0
0
特征值全是零
λ
1
=
λ
2
=
λ
3
=
λ
4
=
0
\lambda_1=\lambda_2=\lambda_3=\lambda_4=0
λ
1
=
λ
2
=
λ
3
=
λ
4
=
0
，特征向量有几个？等于秩的个数
N
(
A
)
=
2
N(A)=2
N
(
A
)
=
2
，有两个特征向量“消失了”。
[
0
1
0
0
0
0
0
0
0
0
0
1
0
0
0
0
]
\begin{bmatrix}0&1&0&0\\0&0&0&0\\0&0&0&1\\0&0&0&0\end{bmatrix}
0
0
0
0
1
0
0
0
0
0
0
0
0
0
1
0
下面介绍一下若尔当块（Jordan block）：
J
i
=
[
λ
i
1
0
0
λ
i
1
0
0
λ
i
1
⋯
⋯
⋯
⋯
]
J_i=\begin{bmatrix} \lambda_i&1&&&0\\ 0&\lambda_i&1&&\\ 0&0&\lambda_i&1&\\ \cdots&\cdots&\cdots&\cdots \end{bmatrix}
J
i
=
λ
i
0
0
⋯
1
λ
i
0
⋯
1
λ
i
⋯
1
⋯
0
对角线上都是相同的特征值
λ
i
\lambda_i
λ
i
特征值右侧都是1，其他地方都是0。每个块都有一个特征向量，我们可以通过数若尔当块确定特征向量的个数。
若尔当定理（Jordan’s theorem）：每个方阵
A
A
A
都相似于一个若尔当阵矩阵
J
J
J
J
=
[
J
1
J
2
J
3
⋯
]
J=\begin{bmatrix}J1&&&&\\&J2\\&&J3\\&&&\cdots\end{bmatrix}
J
=
J
1
J
2
J
3
⋯
若尔当块个数等于特征向量个数。“如果一个矩阵可以对角化，那么这个矩阵相似于对角矩阵”，它是若尔当矩阵的一种特殊情况。最好情况就是对角矩阵。