线性映射

《机器学习数学基础》的第1章1.3.2节、第2章2.2.3节均介绍了与线性映射、线性变换有关的内容，并指出矩阵就是两个向量空间的线性变换的表达形式。

本文以一个示例，讲解如何理解线性变换，并且以此进一步理解最小二乘法。

1. 以示例理解

以参考文献 [1] 中提供的示例，说明矩阵与线性变换的关系。

设向量空间 是二次函数 的集合，基为 ，向量 。

可以用 表示：

则其坐标向量为：

假设有如下线性变换：

根据线性变换的加法和数量乘法封闭性，可得：

上式可以理解为：向量 经 的映射后结果为 （此结果称为像），即：

上述系数可以写成：

将（1.4）代入（1.3）式，得：

所以 的坐标向量为：

可以通过“矩阵乘法”将 和 联系起来：

其中 称为线性变换 基于基 的表示矩阵。

对比（1.5）和（1.6）式，发现 和 互为转置矩阵。

2. 线性变换与矩阵

线性变换 ， 是向量空间 的基， 是向量空间 的基。

线性映射 对应矩阵乘法 ，其中 阶线性变换表示矩阵 的第 列即为 基于 的坐标向量 ：

与线性变换的表示矩阵 的关系，如下图所示：

图中的 表示向量在对应基中的映射，即将向量分别映射为相应向量空间中的坐标（以相应的基）。

3. 解释最小二乘

《机器学习数学基础》第3章3.6.1节专门介绍了正规方程的推导（如下所示的（3.1）式，即为正规方程），并且由此引出最小二乘法。

正规方程（3.1）的解即为 的最小二乘近似解（ 是 矩阵）。

如果 的列向量线性无关，则 ，称 满秩。

此时， ，行空间 充满整个 。

因为 ，则 （ 阶方阵）是可逆的，由此可知（3.1）存在唯一的最小二乘近似解：

则最小误差平方的投影向量：

正交投影矩阵为：

向量 和误差 的关系：

因为

也是一个投影矩阵，且：

因此，向量 经 正交投影至 。

总结：

从线性变换角度，理解最小二乘：

• 向量 经正交投影矩阵 映射至列空间 的投影向量 ：
• 向量 经正交投影矩阵 映射至左零空间 的最小误差向量 ：
• 向量 经变换矩阵 映射到行空间 的最小平方近似解 ：
• 最小二乘解 经矩阵 映射至列空间 的投影向量 ：

因此，将向量 映射至投影向量 的正交投影矩阵 可以理解为两个线性变换的复合：

注意，以上讨论的前提， 的列向量线性无关，否则 不是可逆矩阵，如果不可逆，则不存在唯一的最小二乘近似解。

参考文献

[1]. https://ccjou.wordpress.com/2010/08/11/線性變換表示矩陣/

[2]. https://ccjou.wordpress.com/2009/10/28//從線性變換解釋最小平方近似/