老齐

V1

2023/04/23阅读:43主题:科技蓝

柯西—施瓦茨不等式

《机器学习数学基础》153 页,针对图 3-4-3,提出了一个问题:“点 上的一个点的距离有无穷多个。现在,我们最关心的是其中最短的那个,怎么找?请参阅 3.6 节。”并且,在 3.6 节,使用最小二乘法,找到了点 为终点的向量在 上的投影向量,那么这两个向量的距离就是“最短的那个”。

对于此结论,是否可以证明?

本文中将在介绍柯西—施瓦茨不等式的基础上,证明此上述结论。

柯西-施瓦茨不等式(Cauchy–Schwarz inequality),又称施瓦茨不等式或柯西-布尼亚科夫斯基-施瓦茨不等式(Cauchy–Bunyakovsky–Schwarz inequality)不等式,是以奧古斯丁·路易·柯西(Augustin Louis Cauchy),赫尔曼·阿曼杜斯·施瓦茨(Hermann Amandus Schwarz)和维克托·雅科夫列维奇·布尼亚科夫斯基(Виктор Яковлевич Буняковский)来命名的

1. 不等式

1.1 定理 1

已知 为实数,则:

等式成立的成分必要条件是

这是比较常见的柯西不等式形式。

1.2 定理 2

已知 为复数,则:

等式成立的成分必要条件是 为一复数。

若令 ,则柯西不等式可表示为:

1.3 定理 3

已知 是正定对称矩阵, 为任意实数(或复数),则:

对(1.4)式,可以用向量表示:

1.4 定理 4

已知 ,则:

等式成立的充分必要条件是

将定理 4 推广到积分形式,即为柯西—施瓦茨不等式

1.5 定理 5

已知 是区间 上的连续函数, ,则:

(1.7)式称为柯西-施瓦茨不等式(Cauchy–Schwarz inequality)、施瓦茨不等式或柯西-布尼亚科夫斯基-施瓦茨不等式(Cauchy–Bunyakovsky–Schwarz inequality)。此不等式是乌克兰数学家 Viktor Yakovlerich Bunyakovsky(1804-1889)与德国数学家(原籍波兰)KarlHerman Amandus Schwarz (1843-1921),分别于1861年和1885年发现。虽然布尼亚克夫斯基比施瓦茨先发现了这个不等式,而在很多数学教材中,常常把他的名字忽略——恐怕不是因为他名字太长,更可能的原因是 19 世纪,数学研究的中心在德国、法国,不在这个中心的人所作出的发现,就很难引起重视。这种现象在当今也难免。

1.6 定理 6

已知 为任意复数,且 ,则:

(1.9)式称为赫尔德不等式 (H ̈older不等式),如果推广到积分形式,就是下面的定理7。

1.7 定理 7

已知 ,则:

还可以写成更一般的形式,定理8所示。

1.8 定理 8

已知 ,且 ,则:

德国数学家赫尔德(Otto Lud-wig H ̈older (1859-1937))在1885年研究傅里叶技术收敛性问题时,发现了上述不等式。

赫尔德不等式,也称为赫尔德—里斯不等式(H ̈older-Riesz)。

,赫尔德不等式就退化为柯西—施瓦茨不等式。

2. 余弦定理

对柯西—施瓦茨不等式的最直接理解,可以通过余弦定理,如图所示:

由余弦定理,得:

所以:

因为: ,可得:

亦即得到了(1.3)式。

3. 柯西—施瓦茨不等式的证明

3.1 判别式

这是一种最常见的证明方法。

向量 不平行,所以:

计算 的长度:

将(3.1)式视为 的一元二次方程。由于 ,且 。所以(3.1)式中的二次函数是开口向上的抛物线,且与横轴无交点( 是极限),即 没有实根,所以判别式小于等于

所以:

3.2 投影——最短距离

前述证明中,避免了余弦定理中的角度,使用了向量的点积,对任意维的向量都适用。

由前述假设,可得

将(3.2)式代入到(3.1)式,则:

整理得:

即得到(1.3)式。

如何理解(3.2)式中的

因此,可以有如下关系:

由此可知, 的选择,恰好是能够让 上的投影, 则是 的最短距离。其关系如下图所示:

还称为拉格朗日乘子(Largrange multiplier)。

更多关于《机器学习数学基础》的拓展阅读资料,请参阅:https://lqlab.readthedocs.io

参考文献

[1]. Wikipedia: Cauchy-Schwarz inequality

[2]. 齐伟. 机器学习数学基础[M]. 北京:电子工业出版社,2023.

分类:

人工智能

标签:

人工智能

作者介绍

老齐
V1