Claude Opus 5.5 · AutomationBench(Zapier 私有 early-access set;版本未注明) 40% · 附件证据(ev-op55-card-automation)

Claude Opus 5.5 的 AutomationBench · Zapier 私有 early-access set;版本未注明 官方出处。Adaptive Max · 40%。见《Claude Opus 5.5 System Card》§8.14.6, p.212, Figure 8.14.6.A。证据 ev-op55-card-automation。

原文与定位

Claude Opus 5.5 · AutomationBench(Zapier 私有 early-access set;版本未注明),Adaptive Max配置,Pass rate 40%(具体成绩公布时间未确认)。见《Claude Opus 5.5 System Card》§8.14.6, p.212, Figure 8.14.6.A。 查看成绩条件

On AutomationBench's leaderboard ... Claude Opus 5.5 at max effort scored 40.0%.
官方材料
Claude Opus 5.5 System Card · PDF 第 212 页
定位
附件 · §8.14.6, p.212, Figure 8.14.6.A
材料版本
官方当前 System Card;封面日期 2026-09-22;本地 PDF/TXT:本地留存副本、current-opus-5-5-system-card.txt;230 页全文核读;当前修订时间未知
版本公布
未确认
披露时间
未确认 · 首发/后补未确认
采集时间
历史依据
暂无可靠历史版本依据
引用文本

Claude Opus 5.5 · AutomationBench(Zapier 私有 early-access set;版本未注明),Adaptive Max配置,Pass rate 40%(具体成绩公布时间未确认)。官方出处 Claude Opus 5.5 System Card(附件,官方当前 System Card;封面日期 2026-09-22;本地 PDF/TXT:本地留存副本、current-opus-5-5-system-card.txt;230 页全文核读;当前修订时间未知)§8.14.6, p.212, Figure 8.14.6.A,https://www.anthropic.com/claude-opus-5-5-system-card#page=212。Benchlog https://benchlog.lekshome.cc/evidence/claude-opus-5-5/ev-op55-card-automation/

关联成绩与条件

Claude Opus 5.5 · AutomationBench 成绩与配置
指标与成绩配置与评测条件证据关系
Pass rate40%原文 40.0% · 单位 %
公布 未确认
Adaptive Max
设置
官方主表标准配置为 adaptive thinking/max effort、默认 temperature/top_p;具体工具、safeguards、fallback 与运行数按各评测章节记录,不将其一概视为生产 safeguards enabled。
未知项
表格没有为每个 benchmark 单独列出采样设置和运行数;章节明确列出的差异优先。
工具
工具条件未记录
推理预算
max
框架
未记录
协议
Zapier AutomationBench;版本未注明,early-access evaluation。
条件
Zapier 无 fallback model;safeguard intervention 记失败。 Source-wide conditions: Private held-out Zapier evaluation. The existing result is retained; this System Card evidence does not specify a benchmark release for the 40.0% score.

直接支持该成绩

在排名中查看此成绩