扩散模型入门（二）

前文说到扩散模型是尝试逆转扩散过程的数学方法，那么立即产生的问题就是如何对“扩散”进行可计算的描述。本文尝试从两个角度解读我们日常观测到的信号，相信它们不仅有助于理解随机变量，也有助于后续引入扩散的计算方法。在扩散模型中，我更加倾向于将红线理解成对均值为零的随机变量进行的一次采样，它背后的逻辑是“随机性先于一切而存在，而我们观测到的信号只是对某个高维的随机变量进行了一次采样”。

本系列相关代码整合在 Github 仓库

https://github.com/listenzcc/diffusion-model-learning

扩散模型入门（二）

信号及其维度

信号是某个客观事物的直观表达，我们可以用高维向量的观点去理解它。假设我们对一个连续的函数进行采样，那么每个采样值就是它的维度。下图是一个例子，左侧是一张的图（虽然它没能实际意义），右侧中红线是图中的每个像素转换成一条向量，而它背后的蓝白色曲线就是它加上一些噪声的例子，为了方便起见，我们将它们统称为“信号”，该信号也是维的向量。

接下来，我们关注蓝色曲线，这是典型的“确定值加噪声的形式”，它们满足正态分布

易知，每条蓝色曲线出现的概率为

下面我们开始考虑一个问题，那就是红色的线是什么？这个问题十分重要，因为我们如何理解它，决定了我们如何对它进行扩散和建立对应的扩散模型。我现在有两种理解方式，一是将红线理解成方差为零的随机变量，二是将红线理解成对均值为零的随机变量进行的一次采样。

信号是方差为零的随机变量

将红线理解成方差为零的随机变量是非常直观的想法，它背后的逻辑是

信号先于随机性而存在，以均值的形式存在，而观测这个信号得到的值是均值与噪声相加得到的采样值。

这个过程如下图所示，随着噪声方差越来越小，信号的“不确定性”也越来越小，直到减少到零时得到完全确定的信号。右侧的 colorbar 代表该颜色的采样值曲线与红线之间的欧氏距离。这种思想无疑是有效的，但其有效性不会突破它的适用范围，也就是说它适用于解决那些“信号先于随机性存在的问题”，只要我们能够把方差降下来，那么感兴趣的信号就会自然浮现出来。比如通过多次取平均的方式减少系统误差的方法就是典型应用之一

信号是均值为零的随机采样

另一个观点是将红线理解成对均值为零的随机变量进行的一次采样，它背后的逻辑是

随机性先于一切而存在，而我们观测到的信号只是对某个高维的随机变量进行了一次采样。

当然，这里我们需要进一步分析这个高维空间长什么样子，以及如何从概率密度的角度研究我们为什么能够，或者说已经观察到这组采样结果。