老齐
2023/04/17阅读:17主题:科技蓝
以示例理解线性变换和最小二乘
线性映射
《机器学习数学基础》的第1章1.3.2节、第2章2.2.3节均介绍了与线性映射、线性变换有关的内容,并指出矩阵就是两个向量空间的线性变换的表达形式。
本文以一个示例,讲解如何理解线性变换,并且以此进一步理解最小二乘法。

1. 以示例理解
以参考文献 [1] 中提供的示例,说明矩阵与线性变换的关系。
设向量空间 是二次函数 的集合,基为 ,向量 。
可以用 表示:
则其坐标向量为:
假设有如下线性变换:
根据线性变换的加法和数量乘法封闭性,可得:
上式可以理解为:向量
上述系数可以写成:
将(1.4)代入(1.3)式,得:
所以
可以通过“矩阵乘法”将
其中
对比(1.5)和(1.6)式,发现
2. 线性变换与矩阵
线性变换
线性映射

图中的
3. 解释最小二乘
《机器学习数学基础》第3章3.6.1节专门介绍了正规方程的推导(如下所示的(3.1)式,即为正规方程),并且由此引出最小二乘法。
正规方程(3.1)的解即为
如果
此时,
因为
则最小误差平方的投影向量:
正交投影矩阵为:
向量
因为
因此,向量
总结:
从线性变换角度,理解最小二乘:
-
向量 -
向量 -
向量 -
最小二乘解
因此,将向量
注意,以上讨论的前提,
参考文献
分类:
人工智能标签:
人工智能作者介绍