深度揭秘技术创新：全球首个知识增强千亿大模型是怎样炼成的( 三 )

文章图片
鹏城-百度·文心压缩版模型效果
鹏城-百度·文心在线蒸馏方案的效果非常显著，模型参数压缩率可达99.98% 。压缩版模型仅保留0.02%参数规模就能与原有模型效果相当。相比直接训练参数规模是自身2倍的BERTBase模型，鹏城-百度·文心在5项任务准确率上绝对提升了2.5% ，而相对于同等规模的RoBERTaBase ，准确率则绝对提升了3.4% ，验证了鹏城-百度·文心在线蒸馏方案的有效性。
结语
文心ERNIE自2019年诞生至今，在语言理解、文本生成、跨模态语义理解等领域取得多项技术突破，在公开权威语义评测中斩获了十余项世界冠军。 2020年，文心ERNIE荣获世界人工智能大会WAIC最高奖项SAIL奖。
目前，文心ERNIE已大规模应用于搜索、信息流、智能音箱等互联网产品，并通过百度智能云输出到工业、能源、金融、通信、媒体、教育等各行各业，助力产业智能化升级。本次发布的鹏城-百度·文心将进一步解决AI技术在应用中缺乏领域和场景化数据等关键难题，降低门槛，加快人工智能大规模产业应用。
—完—