Claude Sonnet 5 · ProgramBench(166 个保留的 golden tasks;架构与时限按协议区分) 76–86% · 附件证据(ev5-programbench)

Claude Sonnet 5 的 ProgramBench · 166 个保留的 golden tasks;架构与时限按协议区分 官方出处。Standard configuration: adaptive thinking, max effort · 76–86%。见《Claude Sonnet 5 System Card》§8.8, PDF p.121。证据 ev5-programbench。

原文与定位

Claude Sonnet 5 · ProgramBench(166 个保留的 golden tasks;架构与时限按协议区分),Standard configuration: adaptive thinking, max effort配置,Hidden test pass rate 76–86%(具体成绩公布时间未确认)。见《Claude Sonnet 5 System Card》§8.8, PDF p.121。 查看成绩条件

8 ProgramBench ProgramBench 24 is a long context agentic coding benchmark of 200 program-reconstruction tasks.
官方材料
Claude Sonnet 5 System Card · PDF 第 121 页
定位
附件 · §8.8, PDF p.121
材料版本
PDF with changelog dated 2026-07-10; 146 pages; collected 2026-11-10
版本公布
未确认
披露时间
未确认 · 首发/后补未确认
采集时间
历史依据
暂无可靠历史版本依据
引用文本

Claude Sonnet 5 · ProgramBench(166 个保留的 golden tasks;架构与时限按协议区分),Standard configuration: adaptive thinking, max effort配置,Hidden test pass rate 76–86%(具体成绩公布时间未确认)。官方出处 Claude Sonnet 5 System Card(附件,PDF with changelog dated 2026-07-10; 146 pages; collected 2026-11-10)§8.8, PDF p.121,https://www.anthropic.com/claude-sonnet-5-system-card#page=121。Benchlog https://benchlog.lekshome.cc/evidence/claude-sonnet-5/ev5-programbench/

关联成绩与条件

Claude Sonnet 5 · ProgramBench 成绩与配置
指标与成绩配置与评测条件证据关系
Hidden test pass rate76–86%原文 76–86% · 单位 %
公布 未确认

原文未提供可确认的精确值。

Standard configuration: adaptive thinking, max effort
设置
Adaptive thinking at max effort; default temperature and top_p; five-trial averages unless otherwise stated.
未知项
Context-window size is evaluation-dependent; standard configuration is 1M tokens.
工具
工具条件未记录
推理预算
max
框架
mini-SWE-agent harness
协议
166 retained tasks; five episodes, each continuing the prior codebase with a fresh context budget up to 1M tokens.
条件
Range reported across tasks/episodes, not a single exact scalar; mini-swe-agent harness without upstream six-hour limit.

直接支持该成绩

在排名中查看此成绩