我们从一个很小的例子开始。

设

这个矩阵有两列：

显然

也就是说，第二列并没有提供新的方向。虽然 $A$ 有两列，但它真正独立的列方向只有一个。

这就是“不满列秩”的最简单例子。

这件事看似只是“有一列是另一列的倍数”，但它会引出一串重要结论：

这些结论正是理解普通最小二乘、Tikhonov 正则化、Moore-Penrose 伪逆的基础。

向量线性组合

设

也就是说，$A$ 有 $m$ 行、$n$ 列。把它按列写成：

对于任意

矩阵乘法

本质上是列向量的线性组合：

所以矩阵 $A$ 可以理解为一个线性变换：

它把参数空间中的 $x$，映射到输出空间中的 $Ax$。

矩阵的基本空间

理解矩阵性质，必须先理解四个空间。

列空间

列空间记为

定义为

也就是 $A$ 的所有列向量的线性组合构成的空间。

换句话说：

它告诉我们：所有可能的输出 $Ax$ 落在哪个空间里。

在最小二乘问题

中，真正能被 $Ax$ 表示出来的向量，只能落在 $\mathcal{C}(A)$ 中。

零空间

零空间记为

定义为

它告诉我们：哪些输入方向会被 $A$ 压成零。

如果存在非零向量

使得

那么说明 $A$ 在方向 $z$ 上丢失了信息。

因为对于任意 $x$，都有

也就是说，$x$ 和 $x+z$ 经过 $A$ 之后完全一样。

这就是“不唯一”的根源。

行空间

行空间是 $A$ 的行向量张成的空间。它也等于 $A^T$ 的列空间：

它位于输入空间 $\mathbb{R}^n$ 中。

行空间与零空间互相正交：

更准确地说：

这里的 $\oplus$ 表示直和分解。

这句话很重要：任意一个输入向量 $x$，都可以拆成两部分：

其中

而

所以零空间分量 $x_n$ 对输出没有任何影响。

左零空间

左零空间是

定义为

它位于输出空间 $\mathbb{R}^m$ 中。

列空间和左零空间互相正交：

并且

普通最小二乘中的正交投影，就是在这个分解下发生的。

什么是秩

矩阵的秩记为

它可以理解为 $A$ 真正保留下来的独立方向数。

等价地说：

也就是列空间的维数。

虽然矩阵 $A$ 有 $n$ 列，但这些列不一定都独立。

如果

说明 $A$ 的 $n$ 个列向量全部线性无关，此时称 $A$ 列满秩。

如果

说明 $A$ 的列向量之间存在冗余，此时称 $A$ 不满列秩。

注意：列满秩要求

而不是要求 $A$ 是方阵。

例如

只要三列线性无关，它就是列满秩。

列满秩和零空间的关系

核心结论：

也就是说：

反过来：

证明很直接。

如果 $A$ 不满列秩，那么列向量线性相关，所以存在一组不全为零的系数 $z_1,\dots,z_n$，使得

写成矩阵形式就是

其中

所以不满列秩推出存在非零零空间向量。

反过来，如果存在非零 $z$，使得

那么

这就是列向量之间存在非平凡线性关系，因此列向量线性相关，所以

于是二者等价。

秩-零化度定理

对任意

有

这叫秩-零化度定理。

它的含义是：

输入空间一共有 $n$ 个维度，其中一部分被 $A$ 有效映射出去，另一部分被 $A$ 压成零。

如果 $A$ 列满秩：

那么

所以

如果 $A$ 不满列秩：

那么

所以存在非零零空间方向。

奇异性和可逆性

严格来说，“奇异”和“可逆”只对方阵讨论。

设

如果存在矩阵 $M^{-1}$，使得

那么 $M$ 可逆。

如果 $M$ 不可逆，则称 $M$ 奇异。

所以：

对于方阵 $M$，下面这些条件等价：

反过来，下面这些条件也等价：

为什么有零特征值就不可逆

特征值定义为：

其中

如果

那么

也就是说，存在非零向量 $v$，被 $M$ 压成零。

如果 $M$ 可逆，则两边左乘 $M^{-1}$：

得到

这和 $v\neq 0$ 矛盾。

所以：

反过来，如果 $M$ 不可逆，那么存在非零 $v$，使得

这正是

所以 $0$ 是特征值。

因此：

为什么 $A^TA$ 特别重要

普通最小二乘中，我们要求

目标函数为

求导得到法方程：

所以 $A^TA$ 是普通最小二乘中的核心矩阵。

另一方面，$A^TA$ 还有明确的几何意义。

如果

那么

的第 $i,j$ 个元素是

也就是第 $i$ 列和第 $j$ 列的内积。

因此 $A^TA$ 记录了 $A$ 的列向量之间的相关关系。

它也叫 Gram 矩阵。

为什么 $A^TA$ 一定半正定

对任意向量 $z$，都有

而范数平方一定非负，所以

因此：

这个结论不需要 $A$ 满秩，也不需要 $A$ 是方阵。

只要 $A$ 是实矩阵，$A^TA$ 就是对称半正定矩阵。

正定与半正定

设 $M\in\mathbb{R}^{n\times n}$ 是实对称矩阵。

如果对任意 $z$，都有

则称 $M$ 是半正定矩阵，记作

如果对任意非零 $z\neq 0$，都有

则称 $M$ 是正定矩阵，记作

区别在于：

因此：

但反过来不一定成立。

例如

对任意

有

所以它半正定。

但取

有

所以它不是正定。

因此：

半正定、正定和特征值

对实对称矩阵 $M$，有以下等价关系：

这两个结论要求 $M$ 是实对称矩阵，或者复数情况下是 Hermitian 矩阵。

简要证明如下。

因为实对称矩阵可以正交对角化：

其中

于是

令

由于 $Q$ 是正交矩阵，$z\neq 0$ 等价于 $y\neq 0$。

于是

也就是

如果所有

则显然

所以 $M$ 半正定。

如果所有

并且 $z\neq 0$，则 $y\neq 0$，至少有一个 $y_i\neq 0$，因此

所以 $M$ 正定。

反过来，如果 $M$ 半正定，那么取 $z$ 为某个特征向量 $v_i$，有

由于

所以

正定情形同理可得

为什么正定矩阵一定可逆

设 $M$ 是正定矩阵。

正定意味着：

现在反设 $M$ 不可逆。

如果 $M$ 不可逆，那么存在非零向量 $z\neq 0$，使得

于是

这和正定性要求的

矛盾。

所以 $M$ 不可能不可逆。

因此：

从特征值角度看也一样。

正定矩阵的所有特征值都满足

所以没有零特征值。

没有零特征值，就可逆。

因此：

$A$ 满列秩与 $A^TA$ 正定等价

这是最重要的桥梁之一。

结论：

证明如下。

先证明

若 $A$ 满列秩，则

所以对任意非零 $z\neq 0$，都有

因此

所以

再证明反方向：

若 $A^TA$ 正定，则对任意非零 $z\neq 0$，有

而

所以

即

这说明不存在非零 $z$，使得

因此

所以 $A$ 满列秩。

于是二者等价。

$A$ 不满列秩与 $A^TA$ 奇异等价

结论：

证明如下。

先证明：

如果 $A$ 不满列秩，则存在

使得

于是

所以存在非零向量 $z$，使得

因此

不可逆，也就是奇异。

再证明反方向：

如果 $A^TA$ 奇异，则存在

使得

左乘 $z^T$，得到

也就是

所以

于是存在非零 $z$，使得

因此

所以二者等价。

相关性质的充分、必要和条件范围

很多矩阵结论必须注意条件范围。

例如：

这个结论对任意

都成立。

但是：

这个说法只在 $A$ 是方阵时才有意义。

如果 $A$ 是 $m\times n$ 的长方矩阵，那么不能说 $A$ 可逆或奇异。只能说它列满秩、行满秩、满秩、零空间是否平凡。

又如：

但

例如

它可逆，因为特征值为 $1$ 和 $-1$，都不为零。

但它不是正定，因为取

有

所以可逆不等于正定。

再如：

但

因为半正定允许零特征值，而正定不允许零特征值。

Moore-Penrose 伪逆

普通逆矩阵只对可逆方阵存在。

但在很多问题中，矩阵可能不是方阵，或者虽然是方阵但不可逆。此时仍然希望有一个“类似逆矩阵”的对象。

这就是 Moore-Penrose 伪逆，记为

它对任意矩阵都存在。

如果 $A$ 是可逆方阵，那么

如果 $A$ 不可逆或者不是方阵，$A^+$ 仍然可以定义。

最清楚的定义来自奇异值分解。

设

其中 $\Sigma$ 是奇异值矩阵：

正奇异值满足

伪逆定义为

其中 $\Sigma^+$ 的做法是：

而零奇异值仍然保持为零。

也就是说，普通逆矩阵要求所有方向都能反解；伪逆只在 $A$ 没有丢失的方向上做反解，对已经被压成零的方向不强行反解。

伪逆和零空间的关系

如果 $A$ 不满列秩，则存在非零

所以

这说明很多不同的 $x$ 对应同一个输出。

此时如果我们想解

或者最小化

解可能不唯一。

Moore-Penrose 伪逆给出的解

具有一个重要性质：

它是所有最小二乘解中范数最小的那个。

如果有多个 $x$ 都能给出同样的最小残差，那么 $A^+b$ 会选择长度最短的那个。

从空间上说，它会去掉零空间中的任意漂移分量。

因为零空间分量不会改变 $Ax$，但会增大 $\|x\|$。所以最小范数解不会包含零空间分量。

普通最小二乘的解性质

普通最小二乘问题为：

几何上，它是在列空间 $\mathcal{C}(A)$ 中寻找一个向量

使得它最接近 $b$。

也就是说，

是 $b$ 在列空间 $\mathcal{C}(A)$ 上的正交投影。

因此残差

必须垂直于列空间：

这等价于

代入

得到

也就是

这就是法方程。

普通最小二乘在不同秩条件下的结果

$A$ 列满秩

如果

那么

所以

于是最小二乘解唯一：

这时不存在非零 $z$，使得

所以不存在“加一个零空间方向但输出不变”的自由度。

$A$ 不满列秩

如果

那么存在

使得

因此如果 $\hat{x}$ 是一个最小二乘解，那么

也是一个最小二乘解，因为

这时解不唯一。

同时

奇异，所以不能写

但可以写

其中 $A^+b$ 是最小范数最小二乘解。

更一般地，所有最小二乘解可表示为

其中 $w$ 是任意向量。

这里

属于 $A$ 的零空间部分。它不会改变 $Ax$，只是在不同的等价解之间移动。

一个具体例子串起来

回到开头的矩阵：

它的第二列是第一列的两倍，所以

因此 $A$ 不满列秩。

我们可以找到非零向量

使得

因为

这说明 $A$ 的零空间非平凡：

于是 $A^TA$ 必然奇异。

实际计算：

$$ A^TA= \begin{bmatrix} 1 & 2 & 3\ 2 & 4 & 6 \end{bmatrix} \begin{bmatrix} 1 & 2\ 2 & 4\ 3 & 6 \end{bmatrix}

\begin{bmatrix} 14 & 28\ 28 & 56 \end{bmatrix} $$

第二列仍然是第一列的两倍：

$$ \begin{bmatrix} 28\56 \end{bmatrix}

2 \begin{bmatrix} 14\28 \end{bmatrix} $$

所以

也不满秩，因而不可逆。

同时

其中 $z\neq 0$，所以 $A^TA$ 不是正定。

但对任意 $u$，仍然有

所以 $A^TA$ 是半正定。

因此它的特征值满足：

但至少有一个特征值等于零。

实际上，

的特征值是

这正好对应：

加上 Tikhonov 正则化之后

虽然本文主要讲矩阵性质，但可以顺手看一下 Tikhonov 正则化为什么有效。

普通最小二乘的法方程是：

如果 $A$ 不满列秩，则 $A^TA$ 不可逆。

Tikhonov 正则化改为：

求导得到：

其中

关键是：

一定正定。

因为对任意非零 $z\neq 0$：

$$ z^T(ATA+\lambda I)z

z^TATAz+\lambda z^Tz $$

也就是

$$ z^T(ATA+\lambda I)z

|Az|^2+\lambda|z|^2 $$

其中

而

所以

因此

正定。

正定矩阵一定可逆，所以

一定存在。

这就是 Tikhonov 正则化能把病态或不唯一问题变成稳定唯一问题的原因。

各性质关系图

下面这张图可以作为总览。

  flowchart TD
    A["A ∈ R^{m×n}"] --> B["列向量 a1,...,an"]
    B --> C["列空间 C(A)"]
    B --> D["秩 rank(A)=dim C(A)"]

    D --> E{"rank(A)=n ?"}

    E -->|是| F["A 列满秩"]
    F --> G["N(A)={0}"]
    G --> H["不存在 z≠0 使 Az=0"]
    H --> I["A^T A 正定"]
    I --> J["A^T A 所有特征值 > 0"]
    J --> K["A^T A 非奇异"]
    K --> L["A^T A 可逆"]
    L --> M["OLS 解唯一: x=(A^T A)^(-1)A^T b"]

    E -->|否| N["A 不满列秩"]
    N --> O["N(A) 非平凡"]
    O --> P["存在 z≠0 使 Az=0"]
    P --> Q["A^T A z=0"]
    Q --> R["A^T A 有零特征值"]
    R --> S["A^T A 奇异"]
    S --> T["A^T A 不可逆"]
    T --> U["OLS 不能用普通逆公式"]
    U --> V["用 Moore-Penrose 伪逆 A^+b"]

方阵性质关系图

对于方阵

有下面的等价关系：

  flowchart LR
    A["M 可逆"] <--> B["M 非奇异"]
    B <--> C["rank(M)=n"]
    C <--> D["N(M)={0}"]
    D <--> E["Mx=0 只有零解"]
    E <--> F["det(M)≠0"]
    F <--> G["0 不是 M 的特征值"]

对应地：

  flowchart LR
    A["M 不可逆"] <--> B["M 奇异"]
    B <--> C["rank(M)<n"]
    C <--> D["N(M) 非平凡"]
    D <--> E["存在 x≠0 使 Mx=0"]
    E <--> F["det(M)=0"]
    F <--> G["0 是 M 的特征值"]

正定、半正定、特征值关系图

对实对称矩阵 $M$：

  flowchart TD
    A["M 正定 M ≻ 0"] --> B["∀z≠0, z^T M z > 0"]
    B --> C["所有特征值 λ_i > 0"]
    C --> D["无零特征值"]
    D --> E["M 可逆"]

    F["M 半正定 M ⪰ 0"] --> G["∀z, z^T M z ≥ 0"]
    G --> H["所有特征值 λ_i ≥ 0"]

    A --> F
    C --> H

注意这里有几个非等价关系：

但

但

$A$、$A^TA$、最小二乘之间的关系表

总结

矩阵 $A$ 的列向量决定了它能表示哪些输出。列向量独立，说明每个参数方向都有独立作用；列向量相关，说明存在某些参数方向对输出没有影响。

如果

那么存在非零方向

使得

这个方向就是零空间方向。沿着这个方向移动，输出 $Ax$ 不变。

因此在最小二乘中，多个不同的 $x$ 可能产生同一个 $Ax$，解就可能不唯一。

同时，由于

所以 $A^TA$ 一定半正定。

如果 $A$ 满列秩，则非零 $z$ 不可能被 $A$ 压成零，所以

于是 $A^TA$ 正定、可逆，普通最小二乘解唯一。

如果 $A$ 不满列秩，则存在非零 $z$，使得

于是

所以 $A^TA$ 只是半正定，不是正定；它有零特征值，因此奇异、不可逆。

这时普通逆公式失效，但 Moore-Penrose 伪逆仍然可以给出最小范数最小二乘解。

而 Tikhonov 正则化通过加入

把

变成

从而把半正定提升为正定，保证可逆性和稳定性。

总结：