英伟达详解AI内存全栈协同设计：HBM容量仅增3%，Agent吞吐量/美元最高提升30倍

美东时间11月5日周四，英伟达发布公司博客文章，详解其AI内存全栈协同设计策略，强调随着大模型参数规模、上下文长度和智能体（Agent）应用持续扩张，AI基础设施的内存压力正在加剧，单纯增加GPU内存容量已不足以解决问题。 英伟达提出，通过协同设计GPU、CPU、网络、存储和软件，并结合模型权重量化、KV Cache压缩与分层存储、检索数据优化等技术，可以提高整个AI基础设施的内存利用效率。公司披露，从Blackwell Ultra到Vera Rubin平台，单颗GPU的HBM容量仅增加约3%，在特定Agent工作负载下，每美元可实现的吞吐量就能最高提升30倍。 这一策略的核心，是将AI工厂的内存和存储视为一个整体的数据层级，而不是一味追求将更多数据塞进速度最快、成本最高的GPU内存，以更低的单位成本处理更多AI任务。 值得注意的是，英伟达发布这篇技术文章当天，公司股票遭猛烈抛售。周四盘中

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。