线性映射

《机器学习数学基础》的第1章1.3.2节、第2章2.2.3节均介绍了与线性映射、线性变换有关的内容，并指出矩阵就是两个向量空间的线性变换的表达形式。

本文以一个示例，讲解如何理解线性变换，并且以此进一步理解最小二乘法。

1. 以示例理解

以参考文献 [1] 中提供的示例，说明矩阵与线性变换的关系。

设向量空间是二次函数的集合，基为，向量。

可以用表示：

则其坐标向量为：

假设有如下线性变换：

根据线性变换的加法和数量乘法封闭性，可得：

上式可以理解为：向量经的映射后结果为（此结果称为像），即：

上述系数可以写成：

将（1.4）代入（1.3）式，得：

所以的坐标向量为：

可以通过“矩阵乘法”将和联系起来：

其中称为线性变换基于基的表示矩阵。

对比（1.5）和（1.6）式，发现和互为转置矩阵。

线性变换，是向量空间的基，是向量空间的基。

线性映射对应矩阵乘法，其中阶线性变换表示矩阵的第列即为基于的坐标向量：

与线性变换的表示矩阵的关系，如下图所示：

图中的表示向量在对应基中的映射，即将向量分别映射为相应向量空间中的坐标（以相应的基）。

《机器学习数学基础》第3章3.6.1节专门介绍了正规方程的推导（如下所示的（3.1）式，即为正规方程），并且由此引出最小二乘法。

正规方程（3.1）的解即为的最小二乘近似解（是矩阵）。

如果的列向量线性无关，则，称满秩。

此时，，行空间充满整个。

因为，则（阶方阵）是可逆的，由此可知（3.1）存在唯一的最小二乘近似解：

则最小误差平方的投影向量：

正交投影矩阵为：

向量和误差的关系：

因为

也是一个投影矩阵，且：

因此，向量经正交投影至。

总结：

从线性变换角度，理解最小二乘：

因此，将向量映射至投影向量的正交投影矩阵可以理解为两个线性变换的复合：

注意，以上讨论的前提，的列向量线性无关，否则不是可逆矩阵，如果不可逆，则不存在唯一的最小二乘近似解。