b12079
原文:b12079
添加对多节点张量并行性的 nccl 支持 (#28967) 为在单独进程中运行的跨等级集合添加后端接口,使用 NCCL 在 CUDA 后端中实现它,并在可用时在 RPC 服务器中使用它。删除 ggml_backend_comm_allreduce_rank_t 并为每个等级重用 ggml_backend_comm_allreduce_tensor 通信器为每个等级重用 ggml_backend_cuda_comm_allreduce_nccl
正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。
抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。