老齐

V1

2023/04/17阅读:17主题:科技蓝

以示例理解线性变换和最小二乘

线性映射

《机器学习数学基础》的第1章1.3.2节、第2章2.2.3节均介绍了与线性映射、线性变换有关的内容,并指出矩阵就是两个向量空间的线性变换的表达形式。

本文以一个示例,讲解如何理解线性变换,并且以此进一步理解最小二乘法。

1. 以示例理解

以参考文献 [1] 中提供的示例,说明矩阵与线性变换的关系。

设向量空间 是二次函数 的集合,基为 ,向量

可以用 表示:

则其坐标向量为:

假设有如下线性变换:

根据线性变换的加法和数量乘法封闭性,可得:

上式可以理解为:向量 的映射后结果为 (此结果称为像),即:

上述系数可以写成:

将(1.4)代入(1.3)式,得:

所以 的坐标向量为:

可以通过“矩阵乘法”将 联系起来:

其中 称为线性变换 基于基 表示矩阵

对比(1.5)和(1.6)式,发现 互为转置矩阵。

2. 线性变换与矩阵

线性变换 是向量空间 的基, 是向量空间 的基。

线性映射 对应矩阵乘法 ,其中 阶线性变换表示矩阵 的第 列即为 基于 的坐标向量

与线性变换的表示矩阵 的关系,如下图所示:

图中的 表示向量在对应基中的映射,即将向量分别映射为相应向量空间中的坐标(以相应的基)。

3. 解释最小二乘

《机器学习数学基础》第3章3.6.1节专门介绍了正规方程的推导(如下所示的(3.1)式,即为正规方程),并且由此引出最小二乘法。

正规方程(3.1)的解即为 的最小二乘近似解( 矩阵)。

如果 的列向量线性无关,则 ,称 满秩。

此时, ,行空间 充满整个

因为 ,则 阶方阵)是可逆的,由此可知(3.1)存在唯一的最小二乘近似解:

则最小误差平方的投影向量:

正交投影矩阵为:

向量 和误差 的关系:

因为

也是一个投影矩阵,且:

因此,向量 正交投影至

总结:

从线性变换角度,理解最小二乘:

  • 向量 经正交投影矩阵 映射至列空间 的投影向量
  • 向量 经正交投影矩阵 映射至左零空间 的最小误差向量
  • 向量 经变换矩阵 映射到行空间 的最小平方近似解
  • 最小二乘解 经矩阵 映射至列空间 的投影向量

因此,将向量 映射至投影向量 的正交投影矩阵 可以理解为两个线性变换的复合:

注意,以上讨论的前提, 的列向量线性无关,否则 不是可逆矩阵,如果不可逆,则不存在唯一的最小二乘近似解。

参考文献

[1]. https://ccjou.wordpress.com/2010/08/11/線性變換表示矩陣/

[2]. https://ccjou.wordpress.com/2009/10/28//從線性變換解釋最小平方近似/

分类:

人工智能

标签:

人工智能

作者介绍

老齐
V1