柯西—施瓦茨不等式

《机器学习数学基础》153 页，针对图 3-4-3，提出了一个问题：“点 到 上的一个点的距离有无穷多个。现在，我们最关心的是其中最短的那个，怎么找？请参阅 3.6 节。”并且，在 3.6 节，使用最小二乘法，找到了点 为终点的向量在 上的投影向量，那么这两个向量的距离就是“最短的那个”。

对于此结论，是否可以证明？

本文中将在介绍柯西—施瓦茨不等式的基础上，证明此上述结论。

柯西-施瓦茨不等式（Cauchy–Schwarz inequality），又称施瓦茨不等式或柯西-布尼亚科夫斯基-施瓦茨不等式（Cauchy–Bunyakovsky–Schwarz inequality）不等式，是以奧古斯丁·路易·柯西（Augustin Louis Cauchy），赫尔曼·阿曼杜斯·施瓦茨（Hermann Amandus Schwarz）和维克托·雅科夫列维奇·布尼亚科夫斯基（Виктор Яковлевич Буняковский）来命名的 。

1. 不等式

1.1 定理 1

已知 为实数，则：

等式成立的成分必要条件是 。

这是比较常见的柯西不等式形式。

1.2 定理 2

已知 为复数，则：

等式成立的成分必要条件是 ， 为一复数。

若令 ，则柯西不等式可表示为：

1.3 定理 3

已知 是正定对称矩阵， 为任意实数（或复数），则：

对（1.4）式，可以用向量表示：

1.4 定理 4

已知 ，则：

等式成立的充分必要条件是 。

将定理 4 推广到积分形式，即为柯西—施瓦茨不等式。

1.5 定理 5

已知 是区间 上的连续函数， ，则：

（1.7）式称为柯西-施瓦茨不等式（Cauchy–Schwarz inequality）、施瓦茨不等式或柯西-布尼亚科夫斯基-施瓦茨不等式（Cauchy–Bunyakovsky–Schwarz inequality）。此不等式是乌克兰数学家 Viktor Yakovlerich Bunyakovsky（1804-1889）与德国数学家（原籍波兰）KarlHerman Amandus Schwarz (1843-1921)，分别于1861年和1885年发现。虽然布尼亚克夫斯基比施瓦茨先发现了这个不等式，而在很多数学教材中，常常把他的名字忽略——恐怕不是因为他名字太长，更可能的原因是 19 世纪，数学研究的中心在德国、法国，不在这个中心的人所作出的发现，就很难引起重视。这种现象在当今也难免。

1.6 定理 6

已知 为任意复数，且 ，则：

（1.9）式称为赫尔德不等式 （H ̈older不等式），如果推广到积分形式，就是下面的定理7。

1.7 定理 7

已知 ，则：

还可以写成更一般的形式，定理8所示。

1.8 定理 8

已知 ，且 ，则：

德国数学家赫尔德（Otto Lud-wig H ̈older (1859-1937)）在1885年研究傅里叶技术收敛性问题时，发现了上述不等式。

赫尔德不等式，也称为赫尔德—里斯不等式（H ̈older-Riesz）。

当 ，赫尔德不等式就退化为柯西—施瓦茨不等式。

2. 余弦定理

对柯西—施瓦茨不等式的最直接理解，可以通过余弦定理，如图所示：

由余弦定理，得：

所以：

因为： ，可得：

亦即得到了（1.3）式。

3. 柯西—施瓦茨不等式的证明

3.1 判别式

这是一种最常见的证明方法。

向量 不平行，所以： 。

计算 的长度：

将（3.1）式视为 的一元二次方程。由于 ，且 。所以（3.1）式中的二次函数是开口向上的抛物线，且与横轴无交点（ 是极限），即 没有实根，所以判别式小于等于 。

所以：

3.2 投影——最短距离

前述证明中，避免了余弦定理中的角度，使用了向量的点积，对任意维的向量都适用。

由前述假设，可得 ：

将（3.2）式代入到（3.1）式，则：

整理得：

即得到（1.3）式。

如何理解（3.2）式中的 ？

因此，可以有如下关系：

由此可知， 的选择，恰好是能够让 是 在 上的投影， 则是 至 的最短距离。其关系如下图所示：

还称为拉格朗日乘子（Largrange multiplier）。

更多关于《机器学习数学基础》的拓展阅读资料，请参阅：https://lqlab.readthedocs.io

参考文献

[1]. Wikipedia: Cauchy-Schwarz inequality

[2]. 齐伟. 机器学习数学基础[M]. 北京：电子工业出版社，2023.