欧几里得空间的推广

在《机器学习数学基础》第 1 章介绍了向量空间，并且说明了机器学习问题通常是在欧几里得空间。然而，随着机器学习技术的发展，特别是 AI 技术开始应用于科学研究中，必然会涉及到其他类型的空间。本文即在《机器学习数学基础》一书所讲解的内容基础之上，简要介绍希尔伯特空间、函数空间的有关概念。

希尔伯特空间

在数学裡，希尔伯特空间（英语：Hilbert space）即完备的内积空间，也就是一个带有内积完备向量空间。

例如 中的向量 含有无限多个分量，即：

若要使得以下定义依然成立：

则上述无穷级数应该收敛至一个有限数值，例如： 。

这样，向量的长度是有限的，对于空间中有限长度的向量 和 ，则还会有：

且 （其中 是一个有限的标量）仍然是一个有限量。

由此容易证明向量空间的 8 条法则依然成立（《机器学习数学基础》第15页）。

这样的空间，就是希尔伯特空间，是一个保持一般几何性质的无限维向量空间。

希尔伯特空间是有限维欧几里得空间的一个推广，使之不局限于实数的情形和有限的维数，但又不失完备性（不像一般的非欧几里得空间那样破坏了完备性）。与欧几里得空间相仿，希尔伯特空间也是一个内积空间，其上有距离和角的概念（及由此引申而来的正交性与垂直性的概念）。此外，希尔伯特空间还是一个完备的空间。

微积分中的大部分概念都可以无障碍地推广到希尔伯特空间中。

★

希尔伯特空间以大卫·希尔伯特的名字命名，他在对积分方程的研究中研究了希尔伯特空间。冯·诺伊曼在其 1929 年出版的关于无界自伴算子的著作中，最早使用了“希尔伯特空间”这个名词。

”

一个抽象的希尔伯特空间中的元素往往被称为向量。在实际应用中，它可能代表了一列复数或是一个函数。

例如在量子力学中，一个物理系统可以表示为一个复希尔伯特空间，其中的向量是描述系统可能状态的波函数。

函数空间

设正弦函数 ，定义域为 ，视此函数为无限维向量，向量的各个分量即为连续区间内的函数值 。当向量的分量是连续时，其平方和可写成积分形式（即 的长度平方）：

上式说明，我们可以测量函数的长度，即可以将此函数看做向量，从而形成了向量空间，此向量空间的维数无限，显然是希尔伯特空间，也就是一个函数空间。

如果 ，计算内积：

故正弦和余弦正交。

线性函数

设函数 是： ，对于任意向量 和 ，以及任意实数 ，若满足：

则 是线性函数。

• 几何向量空间

  设 是 阶实矩阵， ， 是一个由 映至 的线性函数，则：

• 多项式空间

  令 为所有多項式形成的向量空间，微分算子 可視為由 映至 的函数，例如， 。微分算子 是一个线性函数，利用导数基本性质，可知：

  求二次导数，记作： ，易知 是线性函数，推广至更高次冪， 全部都是线性函数。

• 连续函数空间

  令 表示所有连续函数形成的空间， ，函数 ，考虑以下的例子：

  ，则 是线性函数。

  证明：

  將微分算子 线性函数 结合成一个方程式便得到微分方程 。

  例如，设 ， ，就有 或写成： 。求解微分方程等于找 使得 ，由此可以逐步建立微分方程与线性代数的关联。

零空间

设 是一个线性函数，所有满足 的 所形成的集合构成 里的一个子空间，称为零空间或核 ，记作 或 。

设 ，根据线性函数的基本性质，有：

这说明 满足向量加法和数量乘法封闭原则，所以 是 的子空间。

将 称为齐次方程（homogeneouos equation）。齐次现象方程至少有一个零解， ，也就是说零空间 必定包含零向量。

理由如下：

，或者 。

• 齐次线性方程组

或改写为矩阵形式：

利用高斯消元法，得： ， 为任意实数，所以， 的零空間由向量 张成，零空間 与其表示矩阵 的零空間 指的是同一回事。

• 微分算子

微分算子 作用在 ， 的零空间包含所有一次导数为零的实函数，由导数性质可知 是一个包含所有常函数 的子空间。

• 齐次微分方程

对于下面的齐次微分方程：

也可以用微分算子表示为：

线性算子的线性组合仍为线性算子，故： 也是线性。

求解齐次微分方程 ，即相当于计算 的零空间。

线性算子 的零空间由线性无关的函数 和 张成， 和 是零空间 的基底函数，故齐次解为其线性組合 。从线性函数的角度，齐次解必定落在 的零空间内，亦即

特征值与特征向量

假设一种线性变换 ，还有向量 ，通常 和 之间没有什么特别的关系，但是，在某个条件下，会有如下关系：

这就是特征向量 和特征值 。

注意：零向量不是特征向量。这是因为，对于任意线性变换而言，任何 都会满足 。

如果特征值为零，则只要存在 满足 就行。显然，若线性变换 有零特征值，则 的零空间必定包含非零向量。

• 矩阵变换

设 为线性变换，以矩陣表示为： 。

例如：

容易解出其特征值 ，特征向量分别为： ， 。

注意，其次方程 对应 ，故特征向量 张成 的零空间。

• 微分算子

假设以下微分算式：

函数 是微分算子 的特征向量，对应特征值分别为 。

推广： 是任意数， ，则 是 的特征向量，对应的特征值为 。

• 齐次微分方程

考虑一个常系数齐次微分方程（前面用过的）：

若有 ，则可以写为：

如前所述，求齐次微分方程的解，就等于计算 的零空间，也就是找出特征值为 的特征向量，如下：

因为 ，则必有 ，则 ，特征向量为 ，所对应的特征值均为 。

故：求解齊次微分方程的本質就是問線性算子 的哪些特徵向量對應零特徵值 。

非齐次方程

设 是一个线性函数，对应的非齐次方程：

下面证明叠加原理：若 是上述非齐次方程的一个特解（particular solution）， 是齐次方程 的一个解（称为齐次解），则 是非齐次方程的通解（或一般解，general solution）。

证明：

因为 是一个特解，则 。

又因为 是线性函数，所以：

故 是齐次解，即 ， 是零空间中的一个向量，故 是通解。

• 非齐次线性方程组

以下述非齐次线性方程组为例：

其一个特解： ，前面已经计算过对应的齐次线性方程组的解： ，其中 是任意实数。故此非齐次线性方程组的通解是：

• 常系数微分方程

以下面的非齐次微分方程为例：

用微分算子表示为： 。

用待定系数法求出一个特解：

对于任何解 ，有：

根据齐次微分方程的求解， 的形式必为：

显然，前两项是齐次解， 。设 ，计算：

代入到非齐次微分方程中，得：