方阵的特征值与矩阵的相似
A
n
,
n
有
分
解
A
x
=
λ
x
使
用
d
e
t
(
λ
I
−
A
)
=
0
求
λ
A_{n,n}有分解Ax=\lambda x\\ 使用det(\lambda I-A)=0求 \lambda
An,n有分解Ax=λx使用det(λI−A)=0求λ
几
何
重
数
(
特
征
值
的
特
征
子
空
间
的
维
数
)
≤
代
数
重
数
(
根
的
重
数
)
特
征
值
和
为
迹
，
积
为
d
e
t
（
利
用
多
项
式
根
与
系
数
的
关
系
）
几何重数(特征值的特征子空间的维数)\leq 代数重数(根的重数)\\ 特征值和为迹，积为det（利用多项式根与系数的关系）
几何重数(特征值的特征子空间的维数)≤代数重数(根的重数)特征值和为迹，积为det（利用多项式根与系数的关系）
A
,
B
矩
阵
相
似
:
B
=
M
−
1
A
M
A
,
B
有
相
同
的
特
征
方
程
与
特
征
值
，
同
一
个
线
性
变
换
在
不
同
基
下
的
矩
阵
相
似
A
B
与
B
A
有
相
同
的
非
零
特
征
值
若
A
B
x
=
λ
x
,
B
A
B
x
=
λ
B
x
A,B矩阵相似:B=M^{-1}AM\\ A,B有相同的特征方程与特征值，同一个线性变换在不同基下的矩阵相似\\ AB与BA有相同的非零特征值若ABx=\lambda x,BABx=\lambda B x
A,B矩阵相似:B=M−1AMA,B有相同的特征方程与特征值，同一个线性变换在不同基下的矩阵相似AB与BA有相同的非零特征值若ABx=λx,BABx=λBx
A
X
=
A
[
x
1
,
x
2
,
x
3
]
=
X
Λ
A
=
X
Λ
X
−
1
但
是
即
使
固
定
Λ
,
Z
也
不
唯
一
(
如
果
一
个
特
征
值
λ
对
应
的
特
征
子
空
间
不
是
一
维
的
)
AX=A[x_1,x_2,x_3]=X\Lambda \\ A=X\Lambda X^{-1}\\ 但是即使固定\Lambda ,Z也不唯一(如果一个特征值\lambda 对应的特征子空间不是一维的)
AX=A[x1,x2,x3]=XΛA=XΛX−1但是即使固定Λ,Z也不唯一(如果一个特征值λ对应的特征子空间不是一维的)
E
V
D
分
解
斐
波
那
契
数
列
通
项
公
式
：
[
F
k
+
2
F
k
+
1
]
=
[
1
1
1
]
[
F
k
+
1
F
k
]
本
质
是
求
矩
阵
的
n
次
方
EVD分解斐波那契数列通项公式： \begin{bmatrix}F_{k+2}\\F_{k+1}\end{bmatrix}=\begin{bmatrix}1&1\\&1\end{bmatrix}\begin{bmatrix}F_{k+1}\\F_{k}\end{bmatrix}\\本质是求矩阵的n次方
EVD分解斐波那契数列通项公式：[Fk+2Fk+1]=[111][Fk+1Fk]本质是求矩阵的n次方
谱定理
A
特
征
值
实
数
有
n
个
正
交
的
特
征
向
量
,
A
Q
=
Q
Λ
，
Q
是
可
逆
矩
阵
A
=
Q
Λ
Q
t
A
是
实
对
称
方
阵
，
满
足
以
上
条
件
A特征值实数有n个正交的特征向量,AQ=Q\Lambda，Q是可逆矩阵\\ A=Q\Lambda Q^t\\ A是实对称方阵，满足以上条件
A特征值实数有n个正交的特征向量,AQ=QΛ，Q是可逆矩阵A=QΛQtA是实对称方阵，满足以上条件
SVD分解（链接为实例）
实
数
矩
阵
A
不
为
方
阵
时
，
设
：
A
m
,
n
=
U
Σ
V
t
其
中
U
m
,
m
为
酉
矩
阵
Σ
m
,
n
为
主
对
角
非
零
矩
阵
V
n
,
n
为
酉
矩
阵
①
A
t
A
n
,
n
为
方
阵
，
可
求
特
征
值
(
A
t
A
)
v
i
=
λ
i
v
i
将
A
t
A
n
,
n
的
特
征
向
量
张
成
的
矩
阵
记
为
U
②
将
A
A
m
,
m
t
张
成
的
记
为
V
,
(
A
A
t
)
u
i
=
λ
i
u
i
(
A
t
A
和
A
A
t
有
相
同
的
非
零
特
征
值
)
③
A
m
,
n
=
U
Σ
V
t
⇒
A
V
=
U
Σ
⇒
A
v
i
=
σ
i
u
i
σ
i
=
A
v
i
u
i
④
A
=
U
Σ
V
t
⇒
A
t
=
V
Σ
U
t
,
则
A
t
A
=
V
Σ
2
V
t
可
见
A
t
A
特
征
向
量
组
成
的
矩
阵
的
确
为
S
V
D
中
的
V
矩
阵
，
且
σ
i
=
λ
i
实数矩阵A不为方阵时，设：A_{m,n}=U\Sigma V^t\\ 其中U_{m,m}为酉矩阵 \ \ \ \ \ \Sigma _{m,n}为主对角非零矩阵 \ \ \ \ V_{n,n}为酉矩阵\\ ①A^tA_{n,n}为方阵，可求特征值(A^tA)v_i=\lambda_i v_i\\ 将A^tA_{n,n}的特征向量张成的矩阵记为U\\ ②将AA^t_{m,m}张成的记为V,(AA^t)u_i=\lambda_i u_i\tiny ( \color{red}A^tA和AA^t有相同的非零特征值\color{black})\normalsize\\\\ ③A_{m,n}=U\Sigma V^t \Rightarrow AV=U\Sigma \Rightarrow Av_i=\sigma_iu_i \\ \sigma_i= \frac{Av_i}{u_i} \\ ④A=U\Sigma V^t \Rightarrow A^t=V\Sigma U^t,则A^tA=V\Sigma^2 V^t \\可见A^tA特征向量组成的矩阵的确为SVD中的V矩阵，且\sigma_i=\sqrt \lambda_i
实数矩阵A不为方阵时，设：Am,n=UΣVt其中Um,m为酉矩阵 Σm,n为主对角非零矩阵 Vn,n为酉矩阵①AtAn,n为方阵，可求特征值(AtA)vi=λivi将AtAn,n的特征向量张成的矩阵记为U②将AAm,mt张成的记为V,(AAt)ui=λiui(AtA和AAt有相同的非零特征值)③Am,n=UΣVt⇒AV=UΣ⇒Avi=σiuiσi=uiAvi④A=UΣVt⇒At=VΣUt,则AtA=VΣ2Vt可见AtA特征向量组成的矩阵的确为SVD中的V矩阵，且σi=λi
几何意义：
A是行空间中的, Ax 一定落在 A 的列空间中，AA^t是列空间的一组基组成的，A = USV’，V’ 的含义是把列空间中的向量投影到 r 维子空间中，\Sigma再进行旋转操作（也可能包括翻转），第三步 U的含义就是把这个旋转逆过来，或者说把中介空间中的向量旋转回左、右两个 r 维子空间中去，但原先跟 r 维子空间垂直的分量就恢复不回来了。
其
实
上
边
的
A
T
A
和
A
A
T
写
反
了
，
从
矩
阵
的
维
度
可
知
，
A
和
∑
都
是
m
∗
n
,
分
解
左
边
应
为
m
∗
m
，
只
能
是
A
∗
A
T
其实上边的A^TA和AA^T 写反了，从矩阵的维度可知，A和\sum都是m*n,分解左边应为m*m，只能是A*A^T
其实上边的ATA和AAT写反了，从矩阵的维度可知，A和∑都是m∗n,分解左边应为m∗m，只能是A∗AT
伪逆 (广义逆)
列
满
秩
,
左
逆
矩
阵
：
A
L
A
=
E
,
A
A
L
≠
E
,
A
L
=
(
A
t
A
)
−
1
A
t
行
满
秩
,
右
逆
矩
阵
：
A
A
R
=
E
,
A
R
A
≠
E
,
A
R
=
A
t
(
A
t
A
)
−
1
列满秩,左逆矩阵：A^LA=E,AA^L\neq E,A^L=(A^tA)^{-1}A^t\\ 行满秩,右逆矩阵：AA^R=E,A^RA\neq E,A^R=A^t(A^tA)^{-1}\\
列满秩,左逆矩阵：ALA=E,AAL=E,AL=(AtA)−1At行满秩,右逆矩阵：AAR=E,ARA=E,AR=At(AtA)−1
对
于
矩
阵
A
，
如
果
存
在
B
使
得
：
A
B
A
=
A
,
B
A
B
=
B
,
(
A
B
)
t
=
A
B
,
(
B
A
)
t
=
B
A
,
则
B
为
A
的
伪
逆
若
A
=
U
[
Σ
0
0
0
]
V
t
，
则
B
=
V
[
Σ
−
1
0
0
0
]
U
t
对于矩阵A，如果存在B使得：ABA=A,BAB=B,(AB)^t=AB,(BA)^t=BA,则B为A的伪逆\\ 若A=U\begin{bmatrix}\Sigma &0\\0&0\end{bmatrix}V^t，则B=V\begin{bmatrix}\Sigma^{-1}&0\\0&0\end{bmatrix}U^t
对于矩阵A，如果存在B使得：ABA=A,BAB=B,(AB)t=AB,(BA)t=BA,则B为A的伪逆若A=U[Σ000]Vt，则B=V[Σ−1000]Ut
添加链接描述
PCA降维
确定几个正交分主方向综合起来模拟原来的矩阵：
A
≃
U
m
,
r
Σ
r
,
r
V
r
,
n
t
A\simeq U_{m,r}\Sigma_{r,r} V_{r,n}^t
A≃Um,rΣr,rVr,nt
MATLAB
程序：
A=[3,2,2;2,3,-2]
B=A'
C=A'*A
d = eig(C)%特征值
[V,D] = eig(C)%计算C的特征值对角阵D和特征向量V，使AV=VD成立。
[U,S,V] = svd (C) %返回一个与C同大小的对角矩阵S，两个酉矩阵U和V，且满足C= U*S*V'。若C为m×n阵，则U为m×m阵，V为n×n阵。奇异值在S的对角线上，非负且按降序排列。
结果：
C= 13 12 2
12 13 -2
2 -2 8
d = -0.0000 9.0000 25.0000
---------------------------------------------------
U =
-0.7071 -0.7071
-0.7071 0.7071
S =
5.0000 0 0
0 3.0000 0
V =
-0.7071 -0.2357 -0.6667
-0.7071 0.2357 0.6667
-0.0000 -0.9428 0.3333