LooM:因果编码器-解码器语言模型的循环不变存储器
原文:LooM: Loop-Invariant Memory for Causal Encoder-Decoder Language Models
循环变压器通过重新执行共享层来增加有效深度,但三个限制阻碍了其采用:内存随着循环计数而增长,计算只能在整个块步骤中调整,并且循环计数在训练后很难改变。我们提出了 LooM(循环不变内存),它依次解决每个问题。在因果编码器-解码器 (CED) 中,LooM 仅循环解码器层
正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。
抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。