再生核希尔伯特空间及利用

再生核希尔伯特空间

各种空间

数学中的空间的组成包括两个部分：元素和结构；元素表示研究对象，即集合；结构表示所定义的规则；

线性空间：线性空间就是定义了加法和数乘的空间；
度量空间：定义了距离的空间，距离需要满足：非负性、对称性、三角不等式三条件；
赋范空间：定义了范数的空间，空间中任一元素，范数需要满足：非负性、数乘法则和三角不等式三个条件；

非负性：，且 ;

数乘法则： ;

三角不等式： ;

范数的定义比距离更严格，需要满足数乘法则；使用范数就可以直接定义距离，因此，赋范空间也是度量空间，反之则不是；
内积空间：定义了内积运算的空间，空间中的任意两个元素 , ，其内积运算需要满足以下三个条件：

对称性：

线性性：

正定性：且

范数可以定义模长，而内积在此基础上延伸出角度，同样，使用内积也可以导出范数；因此，内积空间也是赋范空间，反之则不成立，内积空间也是我们平时使用最多的数学空间；

< img src="http://rci5vltc9.hn-bkt.clouddn.com/FmB7WFPbjD1zSR_SlSsWYLlfOxa5" style="zoom:50%;" />

希尔伯特空间：希尔伯特空间的研究对象通常是函数，函数可以看作无穷维的向量，例如对于连续函数，我们在其定义域中采样，则函数可以表示为

采样的间隔越小，函数地刻画就越精准；由于函数可看作无穷维的向量，那么向量的内积计算的概念也适用于函数，所以，函数空间内积可以类比写为：

希尔伯特空间允许内积无穷维且不限于实数情形；在希尔伯特空间内求极限运算不会超出其度量的范围，因此其本质是完备的内积空间；

核函数

在介绍再生核希尔伯特空间之前，需要先了解其中“核”指的是“核函数”；

在希尔伯特空间中，函数被视作无穷维的向量，那么二元函数呢？可视为矩阵，即分别在和的方向进行采样；若满足：

正定性：即对任意的元素都成立

对称性：

则称该二元函数为核函数（正定核），一些常用的核函数列举如下：

线性核：

高斯核：

sigmoid核： ,

既然把核函数视为矩阵，关于矩阵，我们有一个非常常见的操作，即特征分解（是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法）；定义规模的矩阵，特征分解操作为，其中表示特征值，表示特征向量；

当一个矩阵特征分解后，其特征向量就构成了这个维空间（矩阵）的一组正交基，该矩阵可以由这组正交基进行表示： ;

类比内积空间中矩阵的操作，我们也可以对希尔伯特空间中的核函数进行分解，给出其特征值和特征向量的定义：

矩阵相对于，向量相对于，有限维的加法计算相对于无穷维的积分计算；公式中是关于的函数，通过积分，维被积分积掉，变成仅关于的函数，左右式一致；

具有对称性的性质，类比于对阵矩阵，对称矩阵的特征向量两两正交，所以猜测正交，即 ,实际也是这样，证明在这里省略；

所以就是原函数空间的一组正交基，类似的，核函数就可以写成基函数的和，即：

观察上式，核技巧（kernel trick）自然地显现出来，即在低维原始空间中找到一个函数，使其近似将其映射到高维空间后的内积计算，从而降低计算复杂度；

我们结合具体案例再来形象化地理解kernel trick：现有二维空间的两个点

多项式核

可推，这就将二维空间的数据映射到三维空间，而利用核技巧，计算还是在原始二维空间中计算；

经常会听到核函数将低维线性不可分的样本，映射到高维空间，就可以找到一个线性分隔面将不同分类的样本分开，举个例子：

坐标系中有三个样本点，分为两类：类别0包括(0,3),(3,0)；类别1包括(1,2)；会发现，这三个数据点在函数曲线上，无法找到两个类别的线性分隔线；

应用提及的多项式核，映射函数将三个样本点分别映射到三维空间坐标系中，类别0包括(0,0,9)，(9,0,0)，类别1包括(1, ,4)，可以发现这时我们可以很轻易在三维空间中找到一个线性分隔面将两个类别分开，例如 ;

< img src="http://rci5vltc9.hn-bkt.clouddn.com/Fm2ALZlRnvLZEPtx5t66IEwxZWop" style="zoom:50%;" />

高斯核

根据泰勒公式，

则：

为了直观，假设数据点只有一维，那么可以推得：，将一维数据映射到无穷维；

RKHS

将作为希尔伯特空间的一组基，那么对于其中任意元素都可以表示为基的和：

那么在空间中可以表示为无穷维向量：

再看核函数，其作为矩阵，固定其中一个维度如，不难想象，表示为矩阵的第行，用基表示为：

对应于空间中的一个无穷维向量，

类似的，，二者内积计算为：

该性质就叫做核函数的再生性，空间叫做再生核希尔伯特空间（Reproducing Kernel Hilbert Space，RKHS）；

再生性表明什么呢？形象的讲，空间中的两个点（无穷维向量、研究对象、函数）的内积计算等于原始低维空间中的核运算，这正是反应出核技巧；

以高斯核举个例子，说明核函数的再生性：

令： , ，是可调参数；

RKHS的具体定义：

设是一个由定义在非空集合上的函数：构成的希尔伯特函数空间，若函数：满足：

，也即

则称为的再生核函数，称为再生核希尔伯特空间；

综上，我们在这一节中阐述了：

数学中的各种空间，其中内积空间是定义了内积运算的空间；
希尔伯特空间拓展了传统的内积运算，将研究对象即函数视作无穷维向量，定义了函数的内积运算，是完备的内积空间；
类比的，二元核函数可视作两个方向采样无穷维矩阵，核函数满足正定性，常用的核函数包括线性核、高斯核、sigmoid核等，类比于矩阵分解，核函数也可以表示一组正交基函数的和，核函数具有再生性，这是核技巧的保证，对于每个正定核函数，都隐式的定义了再生核希尔伯特空间；

分布的RKHS嵌入

首先大致解释下嵌入（Embedding）是什么意思？

从网上找到了一种说法：

嵌入是将高维数据向低维数据转换的过程，目的是使得两者在语义上相似。

所以分布嵌入（distribution embedding）的目的是啥呢？使不同的分布语义相似，即可以比较；分布的希尔伯特空间嵌入？即分布在希尔伯特空间的一种表示，使得不同分布间可比；

分布在RKHS中嵌入定义如下：

令，表示从分布中独立采样出的个样本，则其嵌入定义为：

嵌入和作为RKHS中的元素，同样具有再生性质，即：

证明：

第二个等号，是基于公式（2），基于正交基的无穷维向量表示；第三个等号基于内积的性质；

推广到连续分布，