数据中心|数据中心“吃掉”三峡大坝和葛洲坝：科技巨头也得拉闸限电？( 四 )

常见的一种训练语言神经网络的方法是，从维基百科和新闻媒体网站下载大量文本，然后把一些词语遮挡起来，并要求 AI 猜测被遮挡起来的词语。刚开始的时候，AI 会全部搞错，但是，经过不断地调整后，AI 会逐渐学习数据中的模式，最终整个神经网络都会变得非常准确。
前文提到的 “BERT 模型”——基于变换器的双向编码器表示技术（Bidirectional Encoder Representations from Transformers，简称 BERT），这是一项由 Google 提出的自然语言处理（NLP）的预训练技术。
该模型使用了来自维基百科和其他文章的 33 亿个单词，而且在整个训练期间，BERT 读取了该数据集 40 次。相比之下，一个 5 岁的孩子学说话只需要听到 4500 万个单词，比 BERT 少3000倍。
之所以有以上这些强烈的对比是因为：
在开发模型期间，上述训练过程需要反复多次。因为研究人员需要将神经网络调整到最优，即确定神经元的个数、神经元之间的连接数以及各个权重。他们需要反复尝试很多组合，才能提高神经网络的准确度。然而，人类的大脑不需要寻找最佳结构，经过几亿年的进化，人类大脑已具备这种结构。
正是基于这样的背后复杂因素，开发先进的AI模型，才会在数据中心产生大量的电能消耗和碳排放。
（五）科技巨头节电的“工程”与“理论”使命
科技巨头的耗电问题，已成为社会各界人士探讨的重要话题，同时也让当事企业面临不少监管和舆论的挑战。
此时的科技巨头们，在承担社会责任的同时，也应承担起工程和理论两端的技术使命，其一是通过已有的IT工程方法，进一步降低数据中心的能耗浪费。其二在理论层，研究出更低功耗的芯片，并推动具备推理能力的AI基础研究的发展，让技术更精益、更高效。
【数据中心|数据中心“吃掉”三峡大坝和葛洲坝：科技巨头也得拉闸限电？】技术的向善，一种善是赋能，让社会和生活更加美好。而另一种善，是进化，让技术本身变得更加绿色。