前言
本篇是对于可逆矩阵的一个扩展。
伪逆
对于非方阵，或者奇异矩阵而言，没有严格定义上的逆矩阵。为了便于数值计算，定义这些矩阵具有伪逆。
左逆
对于实矩阵
A
∈
R
m
×
n
,
m
≥
n
A\in R^{m\times n},m\ge n
A
∈
R
m
×
n
,
m
≥
n
，如果
A
A
A
是列满秩矩阵，则存在矩阵
A
l
e
f
t
−
1
A_{left}^{-1}
A
l
e
f
t
−
1
使得
A
l
e
f
t
−
1
A
=
E
A_{left}^{-1}A=E
A
l
e
f
t
−
1
A
=
E
，称为
A
A
A
的左逆。
证明：
r
(
A
T
A
)
=
r
(
A
)
=
n
(
A
T
A
)
−
1
A
T
A
=
E
i
.
e
.
(
(
A
T
A
)
−
1
A
T
)
A
=
E
r(A^TA)=r(A)=n \\ (A^TA)^{-1}A^TA=E \\ i.e. \quad ((A^TA)^{-1}A^T)A=E
r
(
A
T
A
)
=
r
(
A
)
=
n
(
A
T
A
)
−
1
A
T
A
=
E
i
.
e
.
(
(
A
T
A
)
−
1
A
T
)
A
=
E
(
A
T
A
)
−
1
A
T
(A^TA)^{-1}A^T
(
A
T
A
)
−
1
A
T
就是
A
A
A
的一个左逆，不过左逆可能不止一个，例如：
右逆
对于实矩阵
A
∈
R
m
×
n
,
m
≤
n
A\in R^{m\times n},m\le n
A
∈
R
m
×
n
,
m
≤
n
，如果
A
A
A
是行满秩矩阵，则存在矩阵
A
r
i
g
h
t
−
1
A_{right}^{-1}
A
r
i
g
h
t
−
1
使得
A
A
r
i
g
h
t
−
1
=
E
AA_{right}^{-1}=E
A
A
r
i
g
h
t
−
1
=
E
，称为
A
A
A
的右逆。
证明：
r
(
A
A
T
)
=
r
(
A
)
=
n
A
A
T
(
A
A
T
)
−
1
=
E
i
.
e
.
A
(
A
T
(
A
A
T
)
−
1
)
=
E
r(AA^T)=r(A)=n \\ AA^T(AA^T)^{-1}=E \\ i.e. \quad A(A^T(AA^T)^{-1})=E
r
(
A
A
T
)
=
r
(
A
)
=
n
A
A
T
(
A
A
T
)
−
1
=
E
i
.
e
.
A
(
A
T
(
A
A
T
)
−
1
)
=
E
A
T
(
A
A
T
)
−
1
A^T(AA^T)^{-1}
A
T
(
A
A
T
)
−
1
就是
A
A
A
的一个右逆，右逆可能也不止一个。
广义逆矩阵
对于方阵而言，非奇异矩阵具有严格的逆矩阵；对于满秩非方阵而言，至少有左逆或者右逆。
而不满秩的矩阵则没有左逆、右逆，于是定义奇异矩阵的广义逆矩阵
A
+
A^+
A
+
满足：
A
A
+
A
=
A
A
+
A
A
+
=
A
+
A
A
+
=
(
A
A
+
)
T
A
+
A
=
(
A
+
A
)
T
AA^+A=A \\ A^+AA^+=A^+ \\ AA^+=(AA^+)^T \\ A^+A=(A^+A)^T
A
A
+
A
=
A
A
+
A
A
+
=
A
+
A
A
+
=
(
A
A
+
)
T
A
+
A
=
(
A
+
A
)
T
矩阵
A
∈
R
m
×
n
,
m
>
n
,
r
a
n
k
(
A
)
=
r
<
n
A\in R^{m\times n},m>n,rank(A)=r<n
A
∈
R
m
×
n
,
m
>
n
,
r
a
n
k
(
A
)
=
r
<
n
的广义逆矩阵可以通过SVD获得：
A
=
U
Σ
V
T
A
+
=
V
Σ
+
U
T
Σ
=
[
Λ
r
×
r
0
0
0
]
m
×
n
,
Σ
+
=
[
Λ
r
×
r
−
1
0
0
0
]
n
×
m
Σ
Σ
+
=
[
E
r
×
r
0
0
0
]
m
×
m
,
Σ
+
Σ
=
[
E
r
×
r
0
0
0
]
n
×
n
A=U\Sigma V^T \\ A^+=V\Sigma^+U^T \\ \Sigma=\begin{bmatrix} \Lambda_{r\times r} & 0\\ 0 & 0\\ \end{bmatrix}_{m\times n}, \Sigma^+=\begin{bmatrix} \Lambda^{-1}_{r\times r} & 0 \\ 0 & 0 \\ \end{bmatrix}_{n\times m} \\ \Sigma \Sigma^+= \begin{bmatrix} E_{r\times r} & 0 \\ 0 & 0 \\ \end{bmatrix}_{m\times m}, \Sigma^+ \Sigma= \begin{bmatrix} E_{r\times r} & 0 \\ 0 & 0 \\ \end{bmatrix}_{n\times n}
A
=
U
Σ
V
T
A
+
=
V
Σ
+
U
T
Σ
=
[
Λ
r
×
r
0
0
0
]
m
×
n
,
Σ
+
=
[
Λ
r
×
r
−
1
0
0
0
]
n
×
m
Σ
Σ
+
=
[
E
r
×
r
0
0
0
]
m
×
m
,
Σ
+
Σ
=
[
E
r
×
r
0
0
0
]
n
×
n
广义逆是唯一的。