Muir:具有灵敏度分配门控和匹配滤波器读出的线性注意力(Google Research,25MB 状态下的 10M 令牌)[R]
原文:Muir: Linear Attention with Sensitivity-Allocated Gating and Matched-Filter Readout (Google Research, 10M tokens in 25MB state) [R]
论文:https://arxiv.org/abs/2611.08376 | HF:https://huggingface.co/papers/2611.08376 在 10M 代币下,1.3B Transformer 需要 2.1 TB 的 KV 缓存(即使在 2.5 位量化时也需要 0.32 TB)。通道方式的门控增量模型(如门控 DeltaNet-2 / GDN-2)将历史记录压缩为固定的 25 MB 状态,但在 100B 令牌训练中遇到了 Muir 解决的三个瓶颈:100 倍慢通道眩光 -> 匹配
正文没能搬到本站:该站禁止服务器(机房 IP)抓取,返回 site,换任何浏览器标识都拿不到。在手机上打开原站往往又慢又卡,下面先把收录到的内容给你。
本站会持续尝试重新抓取;也可以收藏这条,正文抓到后会永久保留。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。