向量范数

《机器学习数学基础》第1章1.5.3节介绍了向量范数的基本定义。

本文在上述基础上，介绍向量范数的有关性质。

关于本书的更多内容，请访问：https://lqlab.readthedocs.io ，其中包括视频课程、拓展资料、勘误和修订等。

注意：以下均在欧几里得空间讨论，即欧氏范数。

1. 性质

• 实（或复）向量 ，范数 满足：

  • ， 是标量

• 设 ，根据施瓦茨不等式： 。

  若 ，则上式退化为 ，其中 。因为 ，所以

• 三角不等式：

  证明

  根据复数的性质和施瓦茨不等式：

  由上述结果，可得：

  证毕。

2. 极小范数

的矩阵 ，列空间 （ 是 的一个子空间），对任一 ，线性方程组 有解。在解集合中，有一个特解，在 的行空间，即 的列空间 ，并且具有最小的 范数，称为极小范数解（minimum norm solution） ，记作 ，即： 使得

2.1 定理一

若 ，则存在唯一的 使得 。

证明

设特解 使得 。

在 中， 的列空间 是零空间 的正交补（参考：矩阵基本子空间 ）。则 可以分解为 ，其中 ，得：

这说明 也是一个特解。

设 使得 。两式子相减：

所以 。

又因为 ，

合并以上结果，得：

即 。 唯一。

证毕。

2.2 定理二

若 且 具有最小 范数，则 。

证明

由定理一，任意特解可以表示为 ，且 唯一存在。因为 ，则：

当 时，上式等号成立。

证毕。

2.3 定理三

若 ，即 的列向量线性无关，则 必有解，且极小范数解为：

证明

因为 ，则 ，列空间 充满 ，所以任一 使 有解。

推导方法1

因为 的列向量线性无关，所以 可唯一表示为列向量的线性组合，即存在唯一的 使得 。代入 ，得：

因为 ，所以 可逆 。

故：

解得：

推导方法2，使用拉格朗日乘数法

最小化 ，等价于最小化

拉格朗日函数：

其中 是 维拉格朗日乘数向量。计算：

令上述两式等于零，得到最优化条件式。得： ，代入 ，得：

解得：

所以：

2.4 计算方法

计算 ，可以使用QR分解 。

设 ，其中 是 矩阵，且 ， 是 阶上三角矩阵。

最佳值：

注意：

• 在上述计算中，使用了矩阵求导等相关计算，请参阅《机器学习数学基础》第4章“向量分析”有关内容，书中的附录中也附有各种计算公式。
• 定理三，仅限于 的列向量线性无关。若列向量线性相关，即 ，则 不可逆。此时仍有极小范数解，表示为 ，其中 称为 的伪逆矩阵（或广义逆矩阵） 。

参考文献

[1]. 极小范数解[DB/OL]. https://ccjou.wordpress.com/2014/05/21/極小範數解/

[2]. 矩阵基本子空间[DB/OL]. https://lqlab.readthedocs.io/en/latest/math4ML/linearalgebra/basetheory.html

[4]. Lagrange multiplier[DB/OL]. https://en.wikipedia.org/wiki/Lagrange_multiplier

[5]. 齐伟. 机器学习数学基础[M]. 北京：电子工业出版社, 2023年1月第3次印刷

[6]. 广义逆矩阵[DB/OL]. https://zh.wikipedia.org/wiki/广义逆矩阵