‹ r/LocalLLaMA

有人用双 V100 吗?试图获得有关更高数量 Qwen3.8 27b 的 PP 和 TPS 的“具体信息”,但遇到了困难

原文:Anyone running dual V100's? Trying to get *specifics* on PP and TPS for higher quant Qwen3.8 27b and having a tough time

r/LocalLLaMA 未缓存正文

因此,我正在考虑从 32gb AMD MI60 切换到双 V100(总共 64gb VRAM),并且我有 96gb DDR5。我的问题是,我很难在具有大上下文窗口(150-200k)的较高量化(特别是 q6 和 q8)的 PP 和 TPS 速度上找到“硬数据”。我知道它会胜过我的 MI60,但我不只是在寻找“是的,它会更快”,我特别希望看到 h

正文没能搬到本站:该站禁止服务器(机房 IP)抓取,返回 site,换任何浏览器标识都拿不到。在手机上打开原站往往又慢又卡,下面先把收录到的内容给你。

打开原文 ↗

本站会持续尝试重新抓取;也可以收藏这条,正文抓到后会永久保留。

打开原文 ↗

正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。

相关报道同一事件 / 同分类