老齐
2023/04/23阅读:43主题:科技蓝
柯西—施瓦茨不等式
《机器学习数学基础》153 页,针对图 3-4-3,提出了一个问题:“点 到 上的一个点的距离有无穷多个。现在,我们最关心的是其中最短的那个,怎么找?请参阅 3.6 节。”并且,在 3.6 节,使用最小二乘法,找到了点 为终点的向量在 上的投影向量,那么这两个向量的距离就是“最短的那个”。
对于此结论,是否可以证明?
本文中将在介绍柯西—施瓦茨不等式的基础上,证明此上述结论。

柯西-施瓦茨不等式(Cauchy–Schwarz inequality),又称施瓦茨不等式或柯西-布尼亚科夫斯基-施瓦茨不等式(Cauchy–Bunyakovsky–Schwarz inequality)不等式,是以奧古斯丁·路易·柯西(Augustin Louis Cauchy),赫尔曼·阿曼杜斯·施瓦茨(Hermann Amandus Schwarz)和维克托·雅科夫列维奇·布尼亚科夫斯基(Виктор Яковлевич Буняковский)来命名的 。
1. 不等式
1.1 定理 1
已知 为实数,则:
等式成立的成分必要条件是 。
这是比较常见的柯西不等式形式。
1.2 定理 2
已知 为复数,则:
等式成立的成分必要条件是
若令
1.3 定理 3
已知
对(1.4)式,可以用向量表示:
1.4 定理 4
已知
等式成立的充分必要条件是
将定理 4 推广到积分形式,即为柯西—施瓦茨不等式。
1.5 定理 5
已知
(1.7)式称为柯西-施瓦茨不等式(Cauchy–Schwarz inequality)、施瓦茨不等式或柯西-布尼亚科夫斯基-施瓦茨不等式(Cauchy–Bunyakovsky–Schwarz inequality)。此不等式是乌克兰数学家 Viktor Yakovlerich Bunyakovsky(1804-1889)与德国数学家(原籍波兰)KarlHerman Amandus Schwarz (1843-1921),分别于1861年和1885年发现。虽然布尼亚克夫斯基比施瓦茨先发现了这个不等式,而在很多数学教材中,常常把他的名字忽略——恐怕不是因为他名字太长,更可能的原因是 19 世纪,数学研究的中心在德国、法国,不在这个中心的人所作出的发现,就很难引起重视。这种现象在当今也难免。
1.6 定理 6
已知
(1.9)式称为赫尔德不等式 (H ̈older不等式),如果推广到积分形式,就是下面的定理7。
1.7 定理 7
已知
还可以写成更一般的形式,定理8所示。
1.8 定理 8
已知
德国数学家赫尔德(Otto Lud-wig H ̈older (1859-1937))在1885年研究傅里叶技术收敛性问题时,发现了上述不等式。
赫尔德不等式,也称为赫尔德—里斯不等式(H ̈older-Riesz)。
当
2. 余弦定理
对柯西—施瓦茨不等式的最直接理解,可以通过余弦定理,如图所示:

由余弦定理,得:
所以:
因为:
亦即得到了(1.3)式。
3. 柯西—施瓦茨不等式的证明
3.1 判别式
这是一种最常见的证明方法。
向量
计算
将(3.1)式视为
所以:
3.2 投影——最短距离
前述证明中,避免了余弦定理中的角度,使用了向量的点积,对任意维的向量都适用。
由前述假设,可得
将(3.2)式代入到(3.1)式,则:
整理得:
即得到(1.3)式。
如何理解(3.2)式中的
因此,可以有如下关系:
由此可知,

更多关于《机器学习数学基础》的拓展阅读资料,请参阅:https://lqlab.readthedocs.io
参考文献
[1]. Wikipedia: Cauchy-Schwarz inequality
[2]. 齐伟. 机器学习数学基础[M]. 北京:电子工业出版社,2023.
分类:
人工智能标签:
人工智能作者介绍