KiteNorm：稳定且可扩展的后 LN 变压器的方差正则化

原文：KiteNorm: Variance Regularisation for Stable and Scalable Post-LN Transformers

由于将 Post-LayerNorm Transformer 扩展到大深度方面始终存在困难，因此其实际采用有限。虽然之前的研究主要集中在通过改善初始化时的调节来稳定 Post-LayerNorm，但当模型以较大的学习率进行训练时，稳定性往往会恶化，从而迫使进行额外的妥协。在我们研究的仅解码器设置中，现有的后处理

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。