2021年 ， Dean,J.等人在论文《LargeScaleDistributedDeepNetworks》中提出了一种将Adam优化器存储在8-bit的方法 ， 同时在使用32-bit格式时保持整体性能不变 。 2020年 ， Sun,X.等人在论文《Ultra-LowPrecision4-bitTrainingofDeepNeuralNetworks》中提出了更激进的精度降低 ， 其中开发了处理4-bit表示的特定路径 。
收敛加速
另一种加速大规模深度学习模型的方法是减少节点之间的通信时间以及在适当局部最小值收敛所需的epoch数量 。
【大规模神经网络最新文献综述：训练高效DNN、节省内存使用、优化器设计】关于通信成本的降低 。 在将梯度在计算节点之间迁移之前对它们进行压缩已经出现了不同的方法 ， 具体有三类 ， 分别是分裂（sparsification）、量化（quantization）和低秩（low-rank）方法 。

• ZOL科技早餐：华为千元手表官宣，腾讯QQ回应大规模盗号
• 个头大的车厘子比小樱桃营养价值更高，对吗 蚂蚁新村6月28日答案最新
• NVIDIA|GTX 1630最新发布时间曝光：6月28日 定价1000元
• 折叠屏|iPhone15最新细节曝光：屏下摄像头、USB-C都来了，太值得期待了
• OPPO|入门级机型都可以升级最新系统！OPPO实在太良心了
• QQ 账号大规模被盗，官方回应来了！
• 腾讯|QQ出现大规模盗号！腾讯回应了
• 英特尔|AMD和Intel笔记本如何选？最新CPU天梯图告诉你答案
• 据CounterpointResearch最新报告显示|苹果拿下2022年q1高端手机市场62%份额
• 三星GalaxyS系列旗舰手机的影像系统一直处于领先地位|三星isocellhp3或不会搭载最新cmos