f

franztao

V1

2022/12/29阅读:17主题:默认主题

系列19 变分推断2-Algorithm

我们将 :Observed data; :Latent Variable + Parameters。那么 为complete data。根据我们的贝叶斯分布公式,我们所要求的后验分布为:

进行一些简单变换,我们可以得到:

在两边同时取对数我们可以得到:

公式化简

左边 = =

右边 =

其中, 被称为Evidence Lower Bound (ELBO),被我们记为 ,也就是变分。

被称为 。这里的

由于我们求不出 ,我们的目的是寻找一个 ,使得 近似于 ,也就是 越小越好。并且, 是个定值,那么我们的目标变成了 。那么,我们理一下思路,我们想要求得一个 。也就是

模型求解

那么我们如何来求解这个问题呢?我们使用到统计物理中的一种方法,就是平均场理论(mean field theory)。也就是假设变分后验分式是一种完全可分解的分布:

在这种分解的思想中,我们每次只考虑第j个分布,那么令 个分布fixed。

那么很显然:

我们先来分析第一项

然后我们来分析第二项

这个公式的计算如何进行呢?我们抽出一项来看,就会变得非常的清晰:

因为, 每一项的值都是1。所以第二项可以写为:

因为我们仅仅只关注第 项,其他的项都不关注。为了进一步表达计算,我们将:

那么(8)式可以写作:

这里的 表示为一个相关的函数形式,假设具体参数未知。那么(7)式将等于(13)式减(11)式:

等价于 。那么这个 要如何进行优化呢?我们下一节将回归EM算法,并给出求解的过程。

分类:

人工智能

标签:

人工智能

作者介绍

f
franztao
V1