作者：inFERENce
翻译：
余志文
去年我一直在研究如何更好地调整GANs中的不足，但因为之前的研究方向只关注了损失函数，完全忽略了如何寻找极小值问题。直到我看到了这篇论文才有所改变：
详解论文: The Numerics of GANs
我参考了
Mar的三层分析
，并在计算层面上仔细考虑了这个问题：我们这样做的最终目标是什么？我相信GANs在这个层面已经有所突破了，因为他们试图优化错误的东西或寻求不存在的平衡等。这就是为什么我喜欢f-GANs、Wasserstein GANs、实例噪声，而不大喜欢在优化层面上做一些修复的尝试：比如DCGAN或改进技术（Salimans等，2016）等原因。我认为在大多数深度学习中，算法层面上随机梯度的下降是大家所认可的。你可以去提升它，但是如果没有突破性进展，它通常不需要修复。
但阅读本文后，我有一个启示：
GANs可以同时在计算层面和算法层面有所突破
即使我们修复了目标，我们也没有算法工具来寻找实际解决方案。
文章摘要：
结合我目前在研究的内容，我将通过一个不同的视觉来分析该论文
介绍关于收敛与不收敛的矢量场的概念，并强调其一些属性
然后描述Mescheder等人文章提出的 consensus、optimization等方面的一些结论：在复杂的不收敛矢量场与理想的收敛矢量场之间进行插值
最后，正如我研究的期望那样，我还强调了另一个重要的细节，一个在文中没有讨论的：我们应该如何在小批量设置中做到所有这些？
简介：从GAN到矢量场
GANs可以被理解为博弈游戏（一个各不相互合作的双人游戏）。一个玩家控制θ并希望最大化其收益f（θ，φ），另一个控制φ并寻求最大化g（θ，φ）。当两个玩家都不再会通过改变参数来提高收益的时候游戏就达到了纳什均衡。因此，现在我们必须要设计一个算法来帮助达到这个纳什均衡。
但目前GANs似乎存在两个问题：
1.计算层面：纳什平衡（Nash equilibrium）达不到可能会退化。
2.算法层面：我们依然还没有找到可靠的工具来达到纳什均衡（即使我们现在的算法能很好的收敛到局部纳什均衡）。
Mescheder等在2017年非常成功地解决了第二个问题，为了找到纳什均衡，我们最好的工具是同步梯度上升算方法，一个由以下递归定义的迭代算法：