在 TorchTitan 上扩展到 1T MoE [P]
原文：Scaling to 1T MoE on TorchTitan [P]
大家好！在过去的几个月里，我们一直在与 TorchTitan 和 PyTorch 维护者一起努力，试图找出 GH200（JUPITER 超级计算机内的 GPU）可以走多远。简短回答：足以在 384 个 GPU 上以每个 GPU 约 1,300 个令牌/秒的速度训练约 1T 参数的 MoE。这是我们开始的 14X，我们的起点是，可以说，谦卑。一路上我们收集了
正文没能搬到本站：该站禁止服务器（机房 IP）抓取，返回 site，换任何浏览器标识都拿不到。在手机上打开原站往往又慢又卡，下面先把收录到的内容给你。
本站会持续尝试重新抓取；也可以收藏这条，正文抓到后会永久保留。
正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。