SageMaker Inference 现在支持多实例 GPU,以最大限度地提高模型端点的 GPU 利用率
原文:SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
Amazon SageMaker Inference 现在支持使用 NVIDIA 多实例 GPU (MIG) 进行 GPU 分区,该分区将一个 GPU 划分为硬件隔离的分区,以便您可以在每个分区中运行不同的模型,或者采用适当大小的较新加速器部分。这篇文章展示了两个可选 API 字段如何为每个分区放置一个模型,以及我们针对整个旧 GPU 进行的测量。
正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。
抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。