Claude Sonnet 5.5 · ProgramBench(166 个保留的 golden tasks;架构与时限按协议区分) 79.7% · 附件证据(ev55-programbench)

Claude Sonnet 5.5 的 ProgramBench · 166 个保留的 golden tasks;架构与时限按协议区分 官方出处。Adaptive thinking, max effort · 79.7%。见《Claude Sonnet 5.5 System Card》§8.10.1, PDF p.118。证据 ev55-programbench。

原文与定位

Claude Sonnet 5.5 · ProgramBench(166 个保留的 golden tasks;架构与时限按协议区分),Adaptive thinking, max effort配置,Hidden test pass rate 79.7%(具体成绩公布时间未确认)。见《Claude Sonnet 5.5 System Card》§8.10.1, PDF p.118。 查看成绩条件

set, Claude Sonnet 5.5 scored 79.7%, whereas Claude Sonnet 5 scored 77.3% and Claude Opus 5.5 scored 91.2%.
官方材料
Claude Sonnet 5.5 System Card · PDF 第 118 页
定位
附件 · §8.10.1, PDF p.118
材料版本
PDF cover dated 2026-09-28; 148 pages; collected 2026-11-10
版本公布
未确认
披露时间
未确认 · 首发/后补未确认
采集时间
历史依据
暂无可靠历史版本依据
引用文本

Claude Sonnet 5.5 · ProgramBench(166 个保留的 golden tasks;架构与时限按协议区分),Adaptive thinking, max effort配置,Hidden test pass rate 79.7%(具体成绩公布时间未确认)。官方出处 Claude Sonnet 5.5 System Card(附件,PDF cover dated 2026-09-28; 148 pages; collected 2026-11-10)§8.10.1, PDF p.118,https://www.anthropic.com/claude-sonnet-5-5-system-card#page=118。Benchlog https://benchlog.lekshome.cc/evidence/claude-sonnet-5-5/ev55-programbench/

关联成绩与条件

Claude Sonnet 5.5 · ProgramBench 成绩与配置
指标与成绩配置与评测条件证据关系
Hidden test pass rate79.7%原文 79.7% · 单位 %
公布 未确认
Adaptive thinking, max effort
设置
Adaptive thinking enabled; max effort.
未知项
Sampling settings may vary by benchmark; see each result.conditions.
工具
工具条件未记录
推理预算
max
框架
未记录
协议
ProgramBench, 166 tasks after excluding 34 flaky reference binaries; hidden-test pass rate over five episodes.
条件
mini-swe-agent; no six-hour upstream time limit; fresh context budget up to 1M tokens per episode.

直接支持该成绩

在排名中查看此成绩