Claude Opus 4.8 · Toolathlon · June 2026 release used in selected source · 成绩与配置

Claude Opus 4.8 的 Toolathlon · June 2026 release used in selected source 记录。本次发布有 4 条成绩记录,含 4 条精确值(可含历史记录),附 4 条来源定位。

成绩与评测条件

Claude Opus 4.8 · Toolathlon 成绩与配置
指标与成绩配置与评测条件出处
Pass@159.9%原文 59.9% · 单位 %
公布 未确认
Toolathlon 内部 harness
设置
Adaptive thinking/max effort;108 tasks,依论文协议 3 trials;内部 harness 固定金融 feed 与容器镜像,约四分之一按原样保留不可满足任务,因此不可与上游绝对值混比。
未知项
未另记
工具
工具条件未记录
推理预算
max
框架
未记录
协议
Toolathlon, 108 tasks; Pass@1 averaged over 3 trials.
条件
Internal harness; adaptive thinking/max effort; task definitions, prompts and checkers mirror upstream; data feeds/containers pinned; roughly a quarter unsatisfiable tasks left unchanged.
在排名中查看此成绩
Pass@367.6%原文 67.6% · 单位 %
公布 未确认
Toolathlon 内部 harness
设置
Adaptive thinking/max effort;108 tasks,依论文协议 3 trials;内部 harness 固定金融 feed 与容器镜像,约四分之一按原样保留不可满足任务,因此不可与上游绝对值混比。
未知项
未另记
工具
工具条件未记录
推理预算
max
框架
未记录
协议
Toolathlon, Pass@3 across 108 tasks and 3 trials per task.
条件
Internal harness; adaptive thinking/max effort; pinned feeds/containers; roughly a quarter unsatisfiable tasks left unchanged.
在排名中查看此成绩
Pass³48.1%原文 48.1% · 单位 %
公布 未确认
Toolathlon 内部 harness
设置
Adaptive thinking/max effort;108 tasks,依论文协议 3 trials;内部 harness 固定金融 feed 与容器镜像,约四分之一按原样保留不可满足任务,因此不可与上游绝对值混比。
未知项
未另记
工具
工具条件未记录
推理预算
max
框架
未记录
协议
Toolathlon, Pass³ across 108 tasks and 3 trials per task.
条件
Internal harness; adaptive thinking/max effort; pinned feeds/containers; roughly a quarter unsatisfiable tasks left unchanged.
在排名中查看此成绩
Average assistant turns24.5 turns原文 24.5 · 单位 turns
公布 未确认
Toolathlon 内部 harness
设置
Adaptive thinking/max effort;108 tasks,依论文协议 3 trials;内部 harness 固定金融 feed 与容器镜像,约四分之一按原样保留不可满足任务,因此不可与上游绝对值混比。
未知项
未另记
工具
工具条件未记录
推理预算
max
框架
未记录
协议
Toolathlon average assistant turns across 108 tasks.
条件
Internal harness; adaptive thinking/max effort; pinned feeds/containers.
在排名中查看此成绩

出处与披露

测试版本与指标

别名 Toolathlon

  • Pass@1 · % · 越高越好
  • Pass@3 · % · 越高越好
  • Pass³ · % · 越高越好
  • Average assistant turns · turns · 越低越好