有人用双 V100 吗?试图获得有关更高数量 Qwen3.8 27b 的 PP 和 TPS 的“具体信息”,但遇到了困难
原文:Anyone running dual V100's? Trying to get *specifics* on PP and TPS for higher quant Qwen3.8 27b and having a tough time
因此,我正在考虑从 32gb AMD MI60 切换到双 V100(总共 64gb VRAM),并且我有 96gb DDR5。我的问题是,我很难在具有大上下文窗口(150-200k)的较高量化(特别是 q6 和 q8)的 PP 和 TPS 速度上找到“硬数据”。我知道它会胜过我的 MI60,但我不只是在寻找“是的,它会更快”,我特别希望看到 h
正文没能搬到本站:该站禁止服务器(机房 IP)抓取,返回 site,换任何浏览器标识都拿不到。在手机上打开原站往往又慢又卡,下面先把收录到的内容给你。
本站会持续尝试重新抓取;也可以收藏这条,正文抓到后会永久保留。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。