Claude Sonnet 4.6 · CharXiv Reasoning · Validation split · 成绩与配置

Claude Sonnet 4.6 的 CharXiv Reasoning · Validation split 记录。本次发布有 3 条成绩记录,含 3 条精确值(可含历史记录),附 2 条来源定位。

成绩与评测条件

Claude Sonnet 4.6 · CharXiv Reasoning 成绩与配置
指标与成绩配置与评测条件出处
Accuracy72.4%原文 72.4% · 单位 %
公布 未确认
Adaptive max, without tools
设置
Adaptive thinking enabled; max effort; no tools.
未知项
Default sampling settings apply unless otherwise stated.
工具
禁止工具
推理预算
max
框架
未记录
协议
CharXiv Reasoning, 1,000 validation questions; five-run average. Tools: none.
条件
Without tools; adaptive thinking, max effort.
在排名中查看此成绩
Accuracy77.4%原文 77.4% · 单位 %
公布 未确认

结果冲突待核对,精确排名不采用。

Adaptive max, image-cropping tool
设置
Adaptive thinking enabled; max effort; simple image-cropping tool available.
未知项
Default sampling settings apply unless otherwise stated.
工具
允许工具
推理预算
max
框架
未记录
协议
CharXiv Reasoning, 1,000 validation questions; five-run average. Tools: image cropping.
条件
Simple image-cropping tool; adaptive thinking, max effort. 同一系统卡图中为 79.4%,正文为 77.4%;未发现更正依据,两值均不参与精确排名。
在排名中查看此成绩
Accuracy79.4%原文 79.4% · 单位 %
公布 未确认

结果冲突待核对,精确排名不采用。

Adaptive max, image-cropping tool
设置
Adaptive thinking enabled; max effort; simple image-cropping tool available.
未知项
Default sampling settings apply unless otherwise stated.
工具
允许工具
推理预算
max
框架
未记录
协议
CharXiv Reasoning, 1,000 validation questions; five-run average. Tools: image cropping.
条件
Figure 2.17.3.A prints 79.4% for Sonnet 4.6 with an image-cropping tool, conflicting with the 77.4% prose result in §2.17.3, PDF p.36, already recorded in the core candidate. Both source values are retained without resolving the discrepancy.
在排名中查看此成绩

出处与披露

测试版本与指标

别名 CharXiv Reasoning

  • Accuracy · % · 越高越好