Anthropic 工程博客量化了代理编码评估中的基础设施噪声，发现云服务商、实例类型、超时设置等因素可使基准分数波动数个百分点。这揭示了当前 LLM 编码排行榜"几分之差"缺乏统计意义，建议从业者关注趋势而非绝对排名。
测什么：代理编码的基准可靠性
Anthropic 这篇工程博客聚焦于一个长期被忽视的问题：我们在测模型，还是在测环境？ 当 Claude 3.5 Sonnet 和 GPT-4o 在 SWE-bench 等编码基准上差 2 个百分点时，这个差距是模型能力的真实体现，还是跑分环境的 artifact？
Anthropic 的核心发现是：基础设施配置的微小变化会导致基准分数系统性偏移。具体噪声来源包括：
- 云服务商差异：同一实例规格在 AWS/GCP/Azure 上的网络延迟、存储 IOPS 不同，对需要执行代码的 Agent 任务影响显著
- 实例类型与资源争用：共享宿主机上的 CPU/内存竞争会导致超时率波动
- 评估超时阈值：宽松 vs 严格的超时设置可造成 5% 以上的分数差异
- 工具版本差异：Python/Node 运行时版本、pip 源可用性等细节
方法论质疑
每一个 Benchmark 都有其适用边界，Anthropic 的这篇分析是对行业的一记清醒剂。
继续阅读深度解读 + 编辑加注
下方还有 3-5 段深度分析 + Vincent 编辑加注 + 可点击信源，仅 Pro 会员可见
加入机智流 PRO →¥99 / 季 · 每周 1 篇深度研报 · 飞书+微信群双通道
已是 Pro 但仍被提示？联系反馈