希望该的工作能够为未来的研究打下坚实的基础 。
BiBERT即将基于百度飞桨开源深度学习模型压缩工具PaddleSlim开源 ， 尽情期待 。
PaddleSlim：https://github.com/PaddlePaddle/PaddleSlim
传送门
会议论文：https://openreview.net/forum?id=5xEgrl_5FAJ
Reference
[1]ShengShen,ZhenDong,JiayuYe,LinjianMa,ZheweiYao,AmirGholami,MichaelW.Mahoney,andKurtKeutzer.Q-BERT:hessianbasedultralowprecisionquantizationofBERT.InAAAI,2020.
[2]OfirZafrir,GuyBoudoukh,PeterIzsak,andMosheWasserblat.Q8BERT:quantized8bitBERT.InNeurIPS,2019.
[3]AliHadiZadeh,IsakEdo,OmarMohamedAwad,andAndreasMoshovos.GOBO:quantizingattention-basedNLPmodelsforlowlatencyandenergyefficientinference.InMICRO,2020.
[4]KelvinXu,JimmyBa,RyanKiros,KyunghyunCho,AaronCourville,RuslanSalakhudinov,RichZemel,andYoshuaBengio.Show,attendandtell:Neuralimagecaptiongenerationwithvisualattention.InICML,2015.
*本文系量子位获授权刊载 ， 观点仅为作者所有
—完—

• 领军企业|30个！中国科协发布2022年科技领域重大问题难题
• |电饭煲哪个牌子好用质量好？2022年电饭煲排行榜前5名
• |2022上半年口碑不错的机型盘点，这几款2K价位中端机更香
• 鸢尾|2022下半年展望，iPhone14Pro领衔，5款重磅新机又将大放异彩
• 荣耀|2022下半年荣耀手机哪款值得入手？不必纠结，口碑已给出答案
• 荣耀x30|荣耀X30跌至千元机价格，2022年到底值不值得入手呢？
• 小屏|2022年坚持用小屏手机的用户，一般是这三类人，被说中了吗？
• iphone11|2022年最不值得买的三款手机，配置虽高但缺点明显，别花冤枉钱了
• 零售业|2022年全球物联网PaaS市场现状及发展趋势预测分析（图）
• 小米科技|2022年6月份：超值的5款平板电脑，华为轻松刷榜，小米屈居第四