VelServe:通过尾部校准调度来抑制 LLM 推理中的解码抖动
原文:VelServe: Taming Decode Jitters in LLM Inference with Tail-Calibrated Scheduling
交互式 LLM 服务必须满足首次令牌时间 (TTFT) 和令牌之间时间 (TBT) 的延迟服务级别目标 (SLO),因为流媒体和软实时应用程序需要可预测的令牌交付。我们识别聚合和分解服务中的解码抖动。抖动会延迟批次中的每个请求,并且较长的响应会跨越数百个步骤,因此即使很少出现
正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。
抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。