‹ arXiv cs.AI

FOSCAR:通过仿射折叠加速 2 位和 4 位 KV 缓存上的解码注意力

原文:FOSCAR: Accelerating Decode Attention over 2- and 4-Bit KV Caches through Affine Folding

arXiv cs.AI 未缓存正文

大语言模型解码注意力流为每个生成的令牌传输键值 (KV) 缓存。将缓存打包成 2 位或 4 位量化整数可以减少内存流量,但不会自动转化为延迟节省。现有的 2 位融合内核在 H100/B200 上达到峰值 HBM 吞吐量的 31%/15% 以下。在输入 Tensor 之前转换每个值并应用其比例和偏移量

正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。

抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。

打开原文 ↗

正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。

相关报道同一事件 / 同分类