矩阵相似型
如果矩阵A,B满足
A
=
P
−
1
B
P
A=P^{-1}BP
A
=
P
−
1
B
P
则称A和B相似。A和B的特征方程相同，特征值相同。 (类比相似三角形，矩阵的相似也是
从不同的视角观察相同的内容。
)
假设P是一个坐标系，则A变换是在P坐标系下观察的B的变换（观察B变换在我们标准坐标系下，观察A变换在P坐标系下,A和B本质是同一变换，只是观察的坐标系不同）
1. 对称矩阵
(一) 对称矩阵的所有不同的特征值对应的特征向量互相垂直。
假设矩阵A的两个特征向量
v
1
,
v
2
v_1,v_2
v
1
,
v
2
对应不同的特征值
λ
1
,
λ
2
。
\lambda_1, \lambda_2。
λ
1
,
λ
2
。
证明
v
1
⃗
⋅
v
2
⃗
=
0
\qquad \vec{v_1} \cdot \vec{v_2} = 0
v
1
⋅
v
2
=
0
(向量之间的点乘，对应的因子相乘再相加)
(
λ
1
v
1
⃗
)
⋅
v
2
⃗
=
(
λ
1
v
1
⃗
)
T
v
2
⃗
=
(
A
v
1
)
T
v
2
⃗
=
v
1
T
A
T
v
2
=
v
1
T
A
v
2
=
v
1
T
λ
2
v
2
=
λ
2
v
1
T
v
2
=
λ
2
v
1
⃗
v
2
⃗
\begin{aligned} (\lambda_1\vec{v_1})\cdot\vec{v_2} &= (\lambda_1\vec{v_1})^T\vec{v_2}=(Av_1)^T\vec{v_2}=v_1^TA^Tv_2=v_1^TAv_2 \\ &=v_1^T \lambda_2v_2=\lambda_2v_1^Tv_2=\lambda_2\vec{v_1}\vec{v_2} \end{aligned}
(
λ
1
v
1
)
⋅
v
2
=
(
λ
1
v
1
)
T
v
2
=
(
A
v
1
)
T
v
2
=
v
1
T
A
T
v
2
=
v
1
T
A
v
2
=
v
1
T
λ
2
v
2
=
λ
2
v
1
T
v
2
=
λ
2
v
1
v
2
(
λ
1
−
λ
2
)
(
v
1
⃗
⋅
v
2
⃗
)
=
0
(\lambda_1-\lambda_2)(\vec{v_1}\cdot\vec{v_2})=0
(
λ
1
−
λ
2
)
(
v
1
⋅
v
2
)
=
0
v
1
⃗
⋅
v
2
⃗
=
0
\qquad \vec{v_1} \cdot \vec{v_2} = 0
v
1
⋅
v
2
=
0
1.1 正交对角化
(二)对称矩阵一定可以被对角化
A
=
P
D
P
−
1
\qquad A=PDP^{-1}
A
=
P
D
P
−
1
如果A是对称矩阵
A
=
Q
D
Q
−
1
\qquad A=QDQ^{-1}
A
=
Q
D
Q
−
1
将每一个特征向量标准化
A
=
Q
D
Q
T
\qquad A=QDQ^{T}
A
=
Q
D
Q
T
故进行了正交对角化
(标准正交矩阵的逆等于标准正交矩阵的转置)
A是对称矩阵 <—> A可以被正交对角化
A
=
Q
D
Q
T
\qquad A=QDQ^{T}
A
=
Q
D
Q
T
2. 奇异值(Singular Value)
若A是一个
m
∗
n
m\ast n
m
∗
n
的矩阵，则
A
T
A
A^TA
A
T
A
是一个
n
∗
n
n\ast n
n
∗
n
的方针，且对称。
A
T
A
A^TA
A
T
A
可以被正交对角化，拥有n个实数特征值
(
λ
1
,
λ
2
,
.
.
.
,
λ
n
)
(\lambda_1,\lambda_2,…,\lambda_n)
(
λ
1
,
λ
2
,
.
.
.
,
λ
n
)
；n个互相垂直的标准特征向量
(
v
1
⃗
,
v
2
⃗
,
.
.
.
,
v
n
⃗
)
(\vec{v_1},\vec{v_2},…,\vec{v_n})
(
v
1
,
v
2
,
.
.
.
,
v
n
)
。
∣
∣
A
v
i
⃗
∣
∣
2
=
(
A
v
i
⃗
)
⋅
(
A
v
i
⃗
)
=
(
A
v
i
⃗
)
T
⋅
(
A
v
i
⃗
)
=
v
i
T
A
T
A
v
i
{||A\vec{v_i}||}^2=(A\vec{v_i})\cdot(A\vec{v_i})={(A\vec{v_i})}^T\cdot(A\vec{v_i})={v_i}^TA^TAv_i
∣
∣
A
v
i
∣
∣
2
=
(
A
v
i
)
⋅
(
A
v
i
)
=
(
A
v
i
)
T
⋅
(
A
v
i
)
=
v
i
T
A
T
A
v
i
=
v
i
T
(
A
T
A
v
i
)
=
v
i
T
(
λ
i
v
i
)
={v_i}^T(A^TAv_i) ={v_i}^T(\lambda_i v_i)
=
v
i
T
(
A
T
A
v
i
)
=
v
i
T
(
λ
i
v
i
)
=
λ
i
v
i
T
v
i
=
λ
i
∣
∣
v
i
⃗
∣
∣
2
=
λ
i
= \lambda_i {v_i}^Tv_i = \lambda_i{||\vec{v_i} ||}^2 = \lambda_i
=
λ
i
v
i
T
v
i
=
λ
i
∣
∣
v
i
∣
∣
2
=
λ
i
A
T
A
A^TA
A
T
A
的特征值>=0,
σ
i
=
λ
i
\sigma_i = \sqrt{\lambda_i}
σ
i
=
λ
i
σ
i
\sigma_i
σ
i
称为奇异值，奇异值就是
A
v
i
⃗
A\vec{v_i}
A
v
i
的长度。
2.1 奇异值的几何含义
λ
i
\lambda_i
λ
i
是
A
T
A
A^TA
A
T
A
的特征值，
v
i
⃗
\vec{v_i}
v
i
是
A
T
A
A^TA
A
T
A
的特征向量。
则A是列空间的一组正交基
λ
i
≠
0
\quad \lambda_i \neq0
λ
i
=
0
证明正交性：
(
A
v
i
⃗
)
⋅
(
A
v
j
⃗
)
=
(
A
v
i
)
T
⋅
(
A
v
j
)
=
v
i
T
A
T
A
v
j
(A\vec{v_i})\cdot(A\vec{v_j})=(Av_i)^T\cdot(Av_j)={v_i}^TA^TAv_j
(
A
v
i
)
⋅
(
A
v
j
)
=
(
A
v
i
)
T
⋅
(
A
v
j
)
=
v
i
T
A
T
A
v
j
=
v
i
T
(
A
T
A
v
j
)
=
v
i
T
(
λ
j
v
j
)
={v_i}^T(A^TAv_j)={v_i}^T(\lambda_jv_j)
=
v
i
T
(
A
T
A
v
j
)
=
v
i
T
(
λ
j
v
j
)
=
λ
j
v
i
T
v
j
=
λ
i
(
v
i
⃗
⋅
v
j
⃗
)
=
0
=\lambda_j{v_i}^Tv_j=\lambda_i(\vec{v_i} \cdot \vec{v_j})=0
=
λ
j
v
i
T
v
j
=
λ
i
(
v
i
⋅
v
j
)
=
0
证明{
A
v
i
⃗
A\vec{v_i}
A
v
i
}是A的列空间的一组基：
未完待续……
可参考链接
Jakob_Hu – 线性代数
，对 liuyubobobo 老师课程的笔记整理。