高斯过程与方差“齐次性”

在这里有一个假设，那就是多元高斯分布的协方差矩阵的先验可以通过样本的核函数来确定。在这个假设条件下，高斯过程其实并不涉及任何优化，只是简单地求解多元高斯分布的条件概率密度。在这里面有一些贝叶斯方法的影子。

---

• 高斯过程与方差“齐次性”^[1]

  • 分块矩阵的逆^[2]
  • 多元高斯分布的条件概率密度^[3]

    • 协方差矩阵^[4]
    • 均值期望^[5]

分块矩阵的逆

考虑对称矩阵的分块矩阵及其逆矩阵有如下关系

可以联立方程组如下

可以解得

由对称性可知

再考虑方程

解得

汇总整理可知

多元高斯分布的条件概率密度

在没有任何后验知识的条件下，仅凭先验条件，我们总可以将多元高斯分布的概率密度函数表示为下式的形式

为了简单起见，我们只关心其中的二次型部分

在高斯过程的假设条件下，我们总可以将它分解成 2 部分，一部分是待预测的样本，另一部分是观测到的样本

因此，二次型变换为下式，（这里在不影响原意的情况下，使用简单记法 ）

由分块逆矩阵的结论可知，上式与下式等价

协方差矩阵

在只考虑待预测样本的情况下，我们将上式的对应二次型单独写出如下式所示

这表示待预测样本的协方差矩阵为

协方差矩阵的计算可以理解为不确定性的减小。

均值期望

下一步是确定均值项的变化，开始考虑分块矩阵的另外三块，它们对应的二次型分别如下

由于总有下式存在

因此原二次型总可以表示为完全平方的形式，而最后一项无论是什么，它都可以用某个待定常数来表达，而这个待定常数将经过全概率公式而

进一步分析变形为

因此，待预测样本的均值期望为

均值期望的计算可以理解为由观测样本值对观测样本的均值期望进行修正，之后通过线性变换“映射”到待预测样本空间而进行的修正。

参考资料

[1]

高斯过程与方差“齐次性”: #高斯过程与方差齐次性

[2]

分块矩阵的逆: #分块矩阵的逆

[3]

多元高斯分布的条件概率密度: #多元高斯分布的条件概率密度

[4]

协方差矩阵: #协方差矩阵

[5]

均值期望: #均值期望