摩尔定律|MIT证明：解决超大规模问题，算法改进比硬件改进更有用

博雯发自凹非寺报道 | 公众号 QbitAI软件算法对计算速度的提升有多大？MIT最新研究说：超过4成算法对性能的改进，已经超过了硬件的摩尔定律。对于中等规模的问题，30%-43%的算法的改进比硬件进步更能提升性能。当问题数据增加到数亿规模时，算法改进变得比硬件改进/摩尔定律更重要。这就是MIT的两位科学家对来自57本教科书，超过1137篇研究论文的数据进行分析后得到的结论。
文章插图
不仅如此，他们还全面叙述了现有以及历史上的算法何时被发现、如何改进、以及改进的规模。14%的算法改进率超过1000%研究者通过分析QS排名中前20的计算机名校所用的课件，总结出11个算法子领域：组合学、统计学/机器学习、密码学、数值分析、数据库、操作系统、计算机网络、机器人学、信号处理、计算机图形/图像处理、生物信息学。通过分析子领域中的算法教材、学术期刊、已发表论文等信息，研究者划分出了113个算法家族，平均每个家族8个算法。他们首先统计了从1940年到现在，各种算法的最初提出时间：
文章插图
并且根据这些算法最初被提出时的时间复杂度进行了归纳。可以看到，其中31%的算法属于指数复杂度类别：
文章插图
在时间复杂度的改进上，对于n=100万的问题规模，一些算法比硬件或摩尔定律的改进率更高：
文章插图
△算法改进对四个算法家族的影响

="bjh-image-caption>将这一分析拓展到110个算法家族上时，可以看到，对于中等规模（n=1000）的问题来说，只有18%的算法改进率快于硬件。但当问题规模来到了百万、亿、甚至万亿级别时，算法的改进速度就超过了硬件性能。甚至有14%的算法家族的改进率超过1000%，远超硬件改进所带来的性能提升。
文章插图
△a：n=一千 b：n=一百万 c：n=一亿
【摩尔定律|MIT证明：解决超大规模问题，算法改进比硬件改进更有用】
="bjh-image-caption>作者介绍论文一作Yash Sherry本科毕业于印度德里大学计算机科学专业，现在是MIT斯隆商学院的一位研究员，工作重点是跟踪算法的改进及其对IT公司经济的影响。
文章插图
另一位Neil Thompson是麻省理工大学CSAIL（计算机科学和人工智能实验室）的科学家，也是哈佛大学创新科学实验室的客座教授。
文章插图
论文：https://ieeexplore.ieee.org/document/9540991参考链接：https://news.mit.edu/2021/how-quickly-do-algorithms-improve-0920