53677 条内容 最近更新 2060 条 / 24h 保留 30 天 · 收藏永久 本地可读 1960 篇
时间范围
来源筛选(可多选)

🔥 正在热议(多家媒体同时报道的事件)

r/

不要购买 Spark 笔记本电脑。

我已经沮丧了一段时间了,因为我愚蠢地卖了一个 strix halo 盒子,给自己买了一台带有 Thunderbolt 5 端口的笔记本电脑,以为我可以将我的两个 egpus 插入其中(我可以,但这不是这篇文章的主题,strix halo 也可以)。在事情变得疯狂之前,我以大约 2300 英镑的价格卖掉了 minisforum,并以大约相同的价格买了一台笔记本电脑:带有 intel core ultra 9 的 Msi Vector 16 和5080(16场

r/LocalLLaMA · 11-07 · 译
AW

SageMaker Inference 现在支持多实例 GPU,以最大限度地提高模型端点的 GPU 利用率

Amazon SageMaker Inference 现在支持使用 NVIDIA 多实例 GPU (MIG) 进行 GPU 分区,该分区将一个 GPU 划分为硬件隔离的分区,以便您可以在每个分区中运行不同的模型,或者采用适当大小的较新加速器部分。这篇文章展示了两个可选 API 字段如何为每个分区放置一个模型,以及我们针对整个旧 GPU 进行的测量。

AWS ML Blog · 11-07 · 译
ar

当指令文件过时:编码代理中的文档债务和隐藏成本

LLM-based coding agents such as Claude Code are guided by repository instruction files (also called context files or agent configuration files) like AGENTS.md and CLAUDE.md, which are read in every agent session.与任何文档工件一样,这些文件可能落后于代码并变得过时(例如,测试文件夹移动,但文件仍然指向旧文件夹)。从技术债务的角度来看,这样的

arXiv cs.AI · 11-07 · 译
ar

两层会话记忆中的压缩、衰减和强化:针对检索增强生成的配对评估

一个有记忆的会话代理必须决定保留什么。检索增强一代保留转录本并对其进行搜索;另一种方法是将每个回合压缩为原子事实并进行搜索。我们在 LoCoMo 上对两者进行比较,双臂在一个窗口中回答所有 1,985 个问题,针对相同的商店,使用相同的生成器和判断器,并且两个预测都在一行上,这

arXiv cs.CL · 11-07 · 译
ar

仅哈希发送者能走多远?发送者内存与短文本消息位的预先注册映射

仅在接收方使用语言模型来计算哈希值的发送方是否可以比在同一域上训练的传统发送方更便宜地传输简短的人类文本?我们通过对 Taskmaster-1 中的 1,000 条英语用户话语进行一次预注册运行来进行回答。主要端点是每条消息传递 100% 消息的成本(哈希位,加上 2 字节否定确认和

arXiv cs.CL · 11-07 · 译