‹ arXiv cs.CL

覆盖验证的稀疏注意力:长上下文 LLM 解码的闭环质量控制

原文:Coverage-Verified Sparse Attention: Closed-Loop Quality Control for Long-Context LLM Decoding

arXiv cs.CL 未缓存正文

稀疏注意力通过读取 KV 缓存的子集来加速长上下文解码,但现有方法是开环的:内核提交其选择,没有信号表明是否保留了足够的注意力质量,如果没有保留,则没有恢复路径。所需的信号已经存在于内核中。所选令牌上的 softmax 质量分数(我们称之为覆盖率) sat

正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。

抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。

打开原文 ↗

正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。

相关报道同一事件 / 同分类