unbiICML 2021杰出论文奖“临时更换”，上海交大校友田渊栋陆昱成等获提名

萧箫发自凹非寺
量子位报道 | 公众号 QbitAI
今天，ICML 2021论文奖项公布！
【 unbiICML 2021杰出论文奖“临时更换”，上海交大校友田渊栋陆昱成等获提名】今年参与评选的共有1184篇论文，数量为往年最高，共有1篇论文获杰出论文奖，4篇论文获提名。

文章插图

文章插图

文章插图

文章插图

文章插图

文章插图

一起来看看。
杰出论文奖
今年的杰出论文奖，题目是Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies，来自多伦多大学和Google Brain。
（作者分别为Paul Vicol, Luke Metz, Jascha Sohl-Dickstein）

文章插图

这篇论文指出，在一些计算图中优化参数的方法存在高方差梯度、偏差、更新缓慢或内存使用量大的问题。
作者引入了一种称为Persistent Evolution Strategies (PES) 的方法，将计算图划分为一系列截断的展开，并在每次展开后执行基于进化策略的更新步骤。PES可以让参数更新速度更快、内存使用率更低、无偏差并具有合理的方差特征。

文章插图

1、Optimal Complexity in Decentralized Training
来自康奈尔大学。
（作者陆昱成、Christopher De Sa）

文章插图

2、Understanding self-supervised learning dynamics without contrastive pairs
来自Facebook AI Research、斯坦福大学。
（作者田渊栋、Xinlei Chen、Surya Ganguli）

文章插图

3、Oops I Took A Gradient: Scalable Sampling for Discrete Distributions
来自多伦多大学、Google Brain。
（作者Will Grathwohl, Kevin Swersky, Milad Hashemi, David Duvenaud, Chris Maddison）

文章插图

4、Solving high-dimensional parabolic PDEs using the tensor train format
来自德国柏林自由大学、波茨坦大学。
（作者Lorenz Richter 、Leon Sallandt、Nikolas Nüsken）

文章插图

时间检验奖
今年的时间检验奖名为Bayesian Learning via Stochastic Gradient Langevin Dynamics。

文章插图

论文主要介绍了一种基于大规模数据集的贝叶斯学习方法，并将之应用于高斯混合模型、逻辑回归模型和自然梯度的ICA模型。
这篇论文在Google学术上的引用量已经达到了1408次，是2011年的ICML入选论文。