Jeff De2021谷歌年度 Jeff

文章插图

机器学习正在并且也将变得无处不在。

编译丨杏花、莓酊、王晔

编辑丨青暮

又是一年一度的谷歌年度盘点，Jeff Dean再次执笔，为我们回顾过去一年来谷歌在5大方向的研究进展以及未来趋势。

Jeff Dean表示，“在过去几十年里，我们见证了机器学习和计算机科学领域的许多重大变化。早期方法的失效促进了现代方法的诞生，并被证明非常有效。”
按照这种发展模式，他认为，我们将在未来几年内见证一些“令人兴奋的进展”，这些进展最终将造福数十亿人的生活，产生比以往任何时候都更大的影响。
在这篇文章中，Jeff Dean重点介绍了机器学习有望产生此等影响的五个方面。对于每个方面，他将讨论谷歌相关的研究（主要是从2021年开始），以及在未来几年可能出现的新方向和新进展。
这些方面分别涉及了算法、效率、个性化、全球化、责任：
算法上，基于Transformer的大规模预训练模型如今无论是在单模态数据的多任务通用性，以及多模态联合学习的能力上，都证明了自身的潜力；
效率上，从算力到模型训练、部署，机器学习流水线的效率正不断提高；在模型运行方面，编译器的改进和加速器软件的优化也提供了很大的助力；而架构方面的改进，自动化机器学习的持续发展、以及对模型稀疏性的利用，都让算法研究发展迅速；
个性化上，机器学习不仅应用变得更加广泛，而且越来越人性化，在功能上越来越自然，同时也更加注重隐私保护；
全球化上，机器学习的影响范围越来越广阔，涉及到愈发多样的全球性问题，比如科学研究、医疗、芯片设计、碳排放缓解、自然灾害预防等等；
最后是责任，尽管饱受争议，但Jeff Dean表示，谷歌对于AI公平性非常重视，并从数据、算法、传播分析、模型可解释性、文化差异性研究以及大模型隐私保护上做了大量工作。
可以说，机器学习正在并且也将变得无处不在。
以下是关于五大趋势总结的编译介绍：

趋势1：功能更强大、更通用的机器学习模型

如今，研究者正在训练比以往任何时候都更大型、功能更强大的机器学习模型。
例如，仅在最近几年，语言领域的模型规模已经从在数百亿个数据标记上训练的数十亿个参数（例如，11B 参数的T5模型），发展到在数万亿个数据标记上训练的数百亿参数（例如，密集模型如 OpenAI 的 175B 参数 GPT-3 模型和 DeepMind 的 280B 参数 Gopher 模型，以及稀疏模型如 Google 的 600B 参数 GShard 模型和 1.2T 参数 GLaM 模型）。
数据集和模型规模的增强，使得各种语言任务的准确性显著提高，正如标注自然语言处理（NLP）基准任务的全面提升所表明的那样（例如对语言模型和机器翻译模型的神经标度定律的研究所预测的）。
上述大部分高级模型都专注于书面语言的单一但不可或缺的模态数据，并在语言理解基准和开放式对话能力方面展现出最先进的成果，甚至在一个领域中的多个任务中也具有如此表现。
此外，它们还表现出令人兴奋的能力，可以在训练数据相对较少的情况下推广到新的语言任务。某些情况下，新任务的训练示例很少甚至没有。例如，NLP中的改进长问答、零标签学习任务。谷歌还提出了LaMDA模型，该模型展示了一种复杂的能力，可以进行开放式对话，在多轮对话中保持重要的上下文联系。