全局最优解

GAN模型表示汇总如下所示：

：

：generator，

：discriminater， ，

和 是两个多层感知机。GAN就是这样采用对抗学习，其最终目的就是 。目标函数中，记：

最终的目标是令 ，而 中的参数为 。在之前的极大似然估计思想中，

而对 比较复杂，通常采用EM算法和VI来进行近似，通过推导可以得出，最后的目标为：

对公式(5)的求解过程可以分成两步，而第一步为求解过程为fixed G，求解

通过求偏导来计算最优解：

这一步的推导利用了微积分的基本定理，得到：

恒成立，所以有：

第二步，将求解的是：

观察 会发现这很像一个KL散度，但是 不是一个概率分布。所以，通过 来将其转换为一个概率分布。那么有，

当且仅当 时，等号成立。此时， 。很显然，大家想一想就知道，生成器模型分布最好当然是和数据分布是一样的，而此时判别器模型真的和假的都分不出，输出都是 。

总结

本章主要描述了什么是GAN，GAN是一种生成模型。其实，以前我对GAN的理解，只是它可以画图，生成和真实数据一样的图，并不知道它有什么用。通过系统的学习，我现在对生成模型的意义有了不一样的认识。本章主要介绍的是GAN的模型意义和模型表示，以及简单的求解过程。实际上，GAN中有很多很多的问题，这只是最基础的版本，介绍简单的思想而已，希望可以抛转引玉。

本章节主要是对于概率生成模型进行了一个全面的介绍，起到一个承上启下的作用。回顾了之前写到的浅层概率生成模型，并引出了接下来要介绍的深度概率生成模型。并从任务（监督 vs 非监督），模型表示，模型推断，模型学习四个方面对概率生成模型做了分类。并从极大似然的角度重新对模型做了分类。并介绍了概率图模型和神经网络的区别，我觉得其中最重要的是，概率图模式是对样本数据建模，其图模型有具体的意义；而神经网络只是函数逼近器，只能被称为计算图。

参考B站视频【机器学习】【白板推导系列】

更多干货，第一时间更新在以下微信公众号：

您的一点点支持，是我后续更多的创造和贡献

转载到请包括本文地址 更详细的转载事宜请参考文章如何转载/引用