自然语言处理|MLPerf AI推理性能成绩出炉 NVIDIA继续领先优势

9月23日消息，MLPerf于今日发布了最新的1.1基准测试结果，其中，NVIDIA的AI平台在计算机视觉、医学成像、自然语言处理、推荐系统、目标检测等全部的七种推理性能测试中取得了第一名，这也是NVIDIA首次在基于Arm的系统上进行的数据中心测试。
??需要指出的是，这是NVIDIA连续第三次在MLCommons推理测试中创造性能和能效纪录。MLCommons是一家成立于2018年5月的行业基准测试组织。

文章插图
??另外，这次测试是第一次在Arm系统上进行数据中心类别的测试，这使用户在部署AI技术时有了更多的选择。
??据了解，MLPerf是由学术界、研究实验室和业界人士组成的人工智慧领袖联盟，基于“打造公平、实用基准”的使命，为软硬件和服务的训练与推断效能提供中立评估，且全部在预定条件下执行。该基准测试基于当今最常用的AI工作负载和场景，涵盖计算机视觉、自然语言处理、推荐系统、强化学习等。
??性能是第一生产力
??在最新一轮测试中，由NVIDIA?AI平台驱动的系统在所有七项推理性能测试中都名列前茅，这些系统来自NVIDIA和其九家生态系统合作伙伴，包括阿里巴巴、戴尔科技、富士通、技嘉、慧与、浪潮、联想、宁畅和超微。
??NVIDIA是唯一一家在本轮和迄今为止每一轮测试中取得所有MLPerf测试结果的公司。

文章插图
??推理(Inference)指计算机通过运行AI软件来识别对象或进行预测。在这个过程中，计算机使用深度学习模型来过滤数据，进而发现人类所无法捕捉的结果。
??MLPerf推理基准测试基于当今最常用的AI工作负载和场景，涵盖计算机视觉、医学影像、自然语言处理、推荐系统、强化学习等。
??因此，无论用户部署何种AI应用，都可以通过NVIDIA创造自己的纪录。而且，随着AI用例从数据中心扩展到边缘和其他领域，AI模型和数据集将不断增加。就是为什么用户需要既可靠又能灵活部署的性能。MLPerf让用户有信心作出明智的购买决定。
??Arm的价值逐渐体现
??凭借在能效性能上的不断增长和不断扩展的软件生态系统，Arm架构正在向全球各地的数据中心进军。
??最新基准测试表明，作为GPU加速的平台，在AI推理工作中，使用Ampere?Altra?CPU的Arm服务器与具有类似配置的X86服务器提供的性能几乎相同。事实上，在3D?U-Net工作负载测试中，Arm服务器的性能甚至超过了类似配置的x86系统。

文章插图
??一直以来，NVIDIA支持所有类型的CPU架构，此次，他们也让大家看到Arm在同行评审的行业基准测试中能够证明其AI性能。
??Arm高性能计算和工具高级总监David?Lecomber表示：“作为MLCommons的创始成员，Arm致力于通过创建标准和基准来更好地应对挑战并激发加速计算行业的创新。”
??软件赋能AI
??参与本次基准测试的共有7家OEM厂商，这些厂商共提交了22个GPU加速平台，其中大部分都通过了英伟达认证，很多服务器都支持上个月发布的NVIDIA?AI?Enterprise软件。
??据NVIDIA分享，其完整的AI软件堆栈也是成功的一个重要因素，就是NVIDIA?TAO工具套件可以简化迁移学习过程，让用户在熟悉的环境中优化模型，而不需学习DL框架。
??NVIDIA?TensorRT软件可以在确保精度的前提下降低模型部分权重，提升模型运行速度。
??NVIDIA?Triton推理服务器则能够简化在云端、本地数据中心或边缘的服务器部署，支持不同应用中欺诈检测、包裹分析、图像分割、语法检查等各类任务。