53638 条内容 最近更新 2195 条 / 24h 保留 30 天 · 收藏永久 本地可读 2802 篇
时间范围
来源筛选(可多选)

🔥 正在热议(多家媒体同时报道的事件)

r/

不要购买 Spark 笔记本电脑。

我已经沮丧了一段时间了,因为我愚蠢地卖了一个 strix halo 盒子,给自己买了一台带有 Thunderbolt 5 端口的笔记本电脑,以为我可以将我的两个 egpus 插入其中(我可以,但这不是这篇文章的主题,strix halo 也可以)。在事情变得疯狂之前,我以大约 2300 英镑的价格卖掉了 minisforum,并以大约相同的价格买了一台笔记本电脑:带有 intel core ultra 9 的 Msi Vector 16 和5080(16场

r/LocalLLaMA · 11-07 · 译
r/

Lamplight - 从构建本地优先线束中汲取的经验教训

大家好!几年来我一直在构建自己的本地人工智能设置。我从这个 sub 和其他类似 r/localllm 中学到了很多东西,所以是时候我尝试回馈一些东西了。我向自己保证不会写一篇超长的文章,但无论如何还是成功了......希望它对某人有用!过去几年我的目标是将尽可能多的人工智能使用转移到本地,并且我

r/LocalLLaMA · 11-07 · 译
AW

SageMaker Inference 现在支持多实例 GPU,以最大限度地提高模型端点的 GPU 利用率

Amazon SageMaker Inference 现在支持使用 NVIDIA 多实例 GPU (MIG) 进行 GPU 分区,该分区将一个 GPU 划分为硬件隔离的分区,以便您可以在每个分区中运行不同的模型,或者采用适当大小的较新加速器部分。这篇文章展示了两个可选 API 字段如何为每个分区放置一个模型,以及我们针对整个旧 GPU 进行的测量。

AWS ML Blog · 11-07 · 译
ar

仅哈希发送者能走多远?发送者内存与短文本消息位的预先注册映射

仅在接收方使用语言模型来计算哈希值的发送方是否可以比在同一域上训练的传统发送方更便宜地传输简短的人类文本?我们通过对 Taskmaster-1 中的 1,000 条英语用户话语进行一次预注册运行来进行回答。主要端点是每条消息传递 100% 消息的成本(哈希位,加上 2 字节否定确认和

arXiv cs.CL · 11-07 · 译