UpLoop：通过升级循环训练循环变压器，无需额外的预训练计算

原文：UpLoop: Training Looped Transformers via Upcycling at No Extra Pretraining Compute

循环语言模型可以通过共享权重的重复计算来加强推理，从而在不添加独立参数的情况下增加执行深度。然而，每次额外的传递都会增加训练浮点运算 (FLOP)，从而使获得这些收益的成本更高。为了解决这个成本，我们提出了 UpLoop，一种使用升级循环来训练循环 Transfo 的预训练计划

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。