开箱即用的产业级NLP工具库,性能加速最高可达28倍( 二 )


开箱即用的产业级NLP工具库,性能加速最高可达28倍
文章图片
项目地址:https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/few_shot
高性能预测加速:文本生成场景高达28倍加速效果
PaddleNLP与NVDIA强强联合 , 以FasterTransformer[5]为基础 , 提供了Faster系列的推理API , 重点拓展了更多主流网络结构适配与解码策略支持 。 同时结合飞桨核心框架2.1版本全新的自定义OP的功能 , 提供了与飞桨框架无缝衔接的使用体验 。
开箱即用的产业级NLP工具库,性能加速最高可达28倍
文章图片
FasterTransformerDecodingWorkflow
(1)大幅提升生成任务的推理能力
在Transformer机器翻译、GPT文本生成两个任务中 , 分别对比使用动态图版本的性能和内置Faster系列的推理API后 , 不同batchsize下预测性能加速比 , 从对比数据可以看到无论Transformer还是GPT , 均可得到高达28倍推理速度提升!
开箱即用的产业级NLP工具库,性能加速最高可达28倍
文章图片
开箱即用的产业级NLP工具库,性能加速最高可达28倍
文章图片
开箱即用的产业级NLP工具库,性能加速最高可达28倍
文章图片
开箱即用的产业级NLP工具库,性能加速最高可达28倍
文章图片
PaddleNLPTransformer翻译模型加速优化前后的NsightProfling对比图
(2)支持丰富的经典解码策略
PaddleNLPv2.1提供工业界主流的解码加速支持 , 包括经典的BeamSearch , 以及多个Sampling-based的解码方式:如DiverseSiblingSearch[6]、T2T版本的BeamSearch实现[7]、Top-k/Top-pSampling等 。 丰富的加速策略可以满足对话、翻译等工业场景的实际应用 , 同时PaddleNLP的加速实现也在百度内部经过了大规模互联网业务的真实考验 。
开箱即用的产业级NLP工具库,性能加速最高可达28倍
文章图片
表1:PaddleNLP2.1支持加速的模型结构与解码策略
更多PaddleNLP加速使用文档可以参考:
https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/advanced_guide/fastertransformer.rst
别的不需要多说了 , 大家访问GitHub点过star之后自己体验吧:
https://github.com/PaddlePaddle/PaddleNLP
直播预告
除了重磅发版以外呢 , 我们还为大家精心准备了配套课程 , 在10月13-15日 , 连续三天PaddleNLP技术精讲课程 , 百度飞桨的明星讲师们历时一个月呕心沥血打磨的三日课 , 小伙伴们速度报名 , 快速getPaddleNLP最新技能点!
直播预告报名链接:https://paddleqiyeban.wjx.cn/vj/QG4uBYa.aspx?udsid=126583
[1]EntailmentasFew-ShotLearner
(https://arxiv.org/pdf/2104.14690.pdf)
[2]ExploitingClozeQuestionsforFewShotTextClassificationandNaturalLanguageInference
(https://arxiv.org/pdf/2001.07676.pdf)
[3]GPTUnderstands,Too
(https://arxiv.org/pdf/2103.10385.pdf)
[4]FewCLUE:AChineseFew-shotLearningEvaluationBenchmark
(https://arxiv.org/pdf/2107.07498.pdf)
[5]https://github.com/NVIDIA/FasterTransformer
[6]ASimple,FastDiverseDecodingAlgorithmforNeuralGeneration
(https://arxiv.org/pdf/1611.08562.pdf)
[7]Google’sNeuralMachineTranslationSystem:BridgingtheGapbetweenHumanandMachineTranslation(https://arxiv.org/pdf/1609.08144.pdf)