‹ AWS ML Blog

SageMaker Inference 现在支持多实例 GPU,以最大限度地提高模型端点的 GPU 利用率

原文:SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints

AWS ML Blog 未缓存正文

Amazon SageMaker Inference 现在支持使用 NVIDIA 多实例 GPU (MIG) 进行 GPU 分区,该分区将一个 GPU 划分为硬件隔离的分区,以便您可以在每个分区中运行不同的模型,或者采用适当大小的较新加速器部分。这篇文章展示了两个可选 API 字段如何为每个分区放置一个模型,以及我们针对整个旧 GPU 进行的测量。

正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。

抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。

打开原文 ↗

正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。

相关报道同一事件 / 同分类