‹ arXiv cs.LG

用于高效 LLM 服务的意图感知缓存

原文:Intent-Aware Caching for Efficient LLM Serving

arXiv cs.LG 未缓存正文

现代 LLM 服务系统使用前缀缓存来加速多轮会话工作负载。它们缓存先前会话前缀的键值状态,并在后续请求共享相同前缀时重用它们,以避免冗余预填充计算并减少服务延迟。然而,实现高缓存命中率仍然具有挑战性,因为缓存重用取决于是否存在转换

正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。

抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。

打开原文 ↗

正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。

相关报道同一事件 / 同分类