谷歌发布TPU Sync：用于TPU的开源KV缓存传输

原文：Google Releases TPU Sync: Open-Source KV Cache Transfer for TPUs

Google 发布了 TPU Sync，这是一个开源 C++ 库，可在 TPU HBM、主机 DRAM、存储和网络之间移动 KV 缓存和权重。 Google 报告称，235B 至 480B MoE 型号的 KV 传输延迟降低了 90% 以上。 Google 发布 TPU Sync：TPU 的开源 KV 缓存传输一文首先出现在 MarkTechPost 上。

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。