franztao
2022/12/31阅读:19主题:默认主题
系列12 变分推断4-SGVI
在上一小节中,我们分析了Mean Field Theory Variational Inference,通过平均假设来得到变分推断的理论,是一种classical VI,我们可以将其看成Coordinate Ascend。而另一种方法是Stochastic Gradient Variational Inference (SGVI)。
对于隐变量参数 和数据集 。 是Generative Model,也就是 和 ,这个过程也被我们称为Decoder。 是Inference Model,这个过程被我们称为Encoder,表达关系也就是 。
SGVI参数规范
我们这节的主题就是Stochastic Gradient Variational Inference (SGVI),参数的更新方法为:
其中,
那么,我们需要对原等式中的表达形式进行更新,
而,
而求解目标也转换成了:
SGVI的梯度推导
我们把这个等式拆成两个部分,其中:
关于第二部分的求解
第二部分比较好求,所以我们才首先求第二部分的,哈哈哈!因为
关于第一部分的求解
在这里我们用到了一个小trick,这个trick在公式(6)的推导中,我们使用过的。那就是
那么,我们可以得到:
那么如何求这个期望呢?我们采用的是蒙特卡罗采样法,假设
由于第二部分的结果为0,所以第一部分的解就是最终的解。但是,这样的求法有什么样的问题呢?因为我们在采样的过程中,很有可能采到
Variance Reduction
这里采用了一种比较常见的方差缩减方法,称为Reparameterization Trick,也就是对
我们怎么可以较好的解决这个问题?如果我们可以得到一个确定的解
而且,这里还需要引入一个等式,那就是:
为什么呢?我们直观性的理解一下,
那么,我们将改写
那么我们的问题就这样愉快的解决了,
其中
小结
那么SGVI,可以简要的表述为:我们定义分布为
分类:
人工智能标签:
人工智能作者介绍