接下来 ， 他们研究了即将进入router的logit上的约束 。 router以float32计算专家的概率分布 。 然而 ， 研究者发现 ， 在最大的规模下 ， 这不足以带来可靠的训练结果 。 为了解决这个问题 ， 他们引入了routerz-loss ，
其中 ， B是token的数目 ， N是专家数 ， x∈RB×N是将要进入router的logit 。
下表4显示 ， 在三次运行中 ， updateclipping和routerz-loss都稳定了模型 ， 但是updateclipping严重影响了模型的质量 。 因此 ， 研究者使用z-loss方法来固定模型稳定性 。


routerz-loss引入了另一个超参数(c_z) ， 这是一个加权系数 ， 作为优化的总损失的一部分 。 总损失是交叉熵损失(crossentropyloss,L_CE)、辅助负载平衡损失(auxiliaryloadbalanceloss,L_B)和routerz-loss(L_Z)的线性加权组合 。


基于用超参数扫描进行预训练后的最佳模型质量 ， 研究者选择c_z=0.001的值 。 附录B记录了预训练过程中的损失 。

• meta|促进更逼真AR/VR体验，Meta正在开发全新空间音频工具
• 在昨日推文中，王者荣耀将以“____文化”为主题推出限定皮肤，为乡村振兴加油? 王者荣耀6月28日每日一题答案
• ColorOS|绿厂又在憋大招？新系统和新产品接踵而至
• 零售业|确定涨价！iPhone14四款新机全面涨价！国行也在其中！
• 数字化转型|新一代iPad Pro正在路上 外观、配置大升级
• 月球也在太阳系的宜居带中，为何不能产生生命？原来个头太小了
• 在南极3500米的深海，科学家发现新物种，这是个透明的肉球？
• 新发现恐龙可能在灾难性的太空岩石撞击地球之前就已经灭绝了
• 中美科学家在琥珀中发现1亿年前的虱子，它们以恐龙羽毛为食
• 为什么现在很少有人提及“克隆技术”了？“克隆技术”有何缺点？