机心报道
编辑：小舟、陈萍
Yoshua Bengio指出的未来方向GFlowNets与现有的生成模型有什么关系？
流媒体网络( GFlowNets )是图灵奖获得者Yoshua Bengio就AI领域的未来方向提出的想法。 GFlowNets基于强化学习、深度生成模型和概率建模，包括变分模型和估计，为非参数贝叶斯建模、生成型主动学习以及抽象表示的无监督或自监督学习打开了新的大门。 去年，Bengio发表了长达70页的论文《GFlowNet Foundations》。
GFlowNets灵感来源于时间序列差分RL法中信息的传播方式Sutton和Barto，2023年)。 它们都依赖于credit assignment的一致性原则，只有在训练有所收敛时才能实现渐近。 由于状态空间内的路径数呈指数函数增长，所以很难实现坡度的准确计算。 因此，这两种方法都依赖于不同组件之间的局部一致性和训练目标。 也就是说，如果所有学习组件相互局部整合，就可以得到可以进行全局推测的系统。
目前，Bengio及其学生张鼎怀等发表了新的论文《Unifying Generative Models with GFlowNets》，简要介绍了现有的深度生成模型与GFlowNet框架的联系，揭示了它们的重复特征，通过马尔可夫轨迹学习的视角提供了统一的视角，并进一步进行了统一的训练和
论文地址： https://arxiv.org/abs/2209.02606
论文的主要内容分为六个部分：
第一部分是GFlowNets的基本介绍。
第二部分是hierarchicalvae(hvae )，它是一种重要的生成模型。 本文在分析的基础上，发现HVAE和GFlowNets之间存在微妙的差异。 基于此，他们得到了两个观察。 一种是在一定的定义下，HVAE是特殊的GFlowNets； 另一个是，两者在训练方式上，有一些相似性。
第三部分是扩散模型SDE ( stochasticdifferentialequatio )。 扩散模型也是重要的生成模型，受非平衡热力学的启发，与VAE和流动模型不同，扩散模型通过固定程序进行学习； SDE可以看作是生成模型中的关键技术。 从某种意义上说，SDE是GFlowNets的特殊情况，本文发现将随机过程特性和GFlowNets特性进行类比。
第四部分是精确似然模型，这里介绍了自回归模型( AR模型)。 这是最常见的平静时间系列机型之一。 本文发现AR模型可以看作GFlowNets，另外，发现NF (归一化流)也是一种特殊的GFlowNets。
第五部分从数据中学习报酬函数。 本文认为基于能量的模型( EBM )可作为GFlowNets训练的)负对数)报酬函数，可以使用任何GFlowNets模型建模并与EBM一起训练。
第六部分是总结，本文将现有的生成模型解释为在样本轨迹上具有不同策略的GFlowNets。 这提供了现有生成建模框架之间重叠的一些见解，以及与用于训练它们的通用算法之间的关联。 此外，该统一意味着构建不同类型的生成建模方法聚合的方法，GFlowNets作为易于处理的推理和训练的通用粘合剂。
作者简介
这篇论文的作者是蒙特利尔学习算法研究所( Mila )博士生张鼎怀，导师是Bengio和Aaron Courville。 他的研究兴趣包括因果推理、分布外泛化、贝叶斯推理、模型生成、强化学习、自主学习等。
第二作者陈天澜是多伦多大学博士，现为荟萃研究科学家。 2023年，陈天澜等论文《Neural Ordinary Differential Equations》获得NeurIPS最佳论文奖，引起广泛关注。 他的主要研究兴趣是概率深度学习。
第三作者Nikolay Malkin是Mila博士后研究员，另一位作者是图灵奖获得者Yoshua Bengio。
感兴趣的读者可以阅读论文原文，了解更多的研究内容和理论细节。
参考链接： https://Zhan LAN.zhi Hu.com/p/499206074
