Claude Sonnet · CharXiv Reasoning · Validation split · 历代记录

按发布时间查看 Claude Sonnet 的 2 次发布在 CharXiv Reasoning · Validation split 的成绩、配置与披露。

仅为直接前代间的唯一、有效精确值计算差值,要求单位、指标与明确记录的配置和条件一致。

Claude Sonnet 4.6

· 本次发布有 3 条成绩记录,含 3 条精确值(可含历史记录)

Claude Sonnet 4.6 · CharXiv Reasoning 成绩与配置
指标与成绩配置与评测条件出处
Accuracy72.4%原文 72.4% · 单位 %
公布 未确认
Adaptive max, without tools
设置
Adaptive thinking enabled; max effort; no tools.
未知项
Default sampling settings apply unless otherwise stated.
工具
禁止工具
推理预算
max
框架
未记录
协议
CharXiv Reasoning, 1,000 validation questions; five-run average. Tools: none.
条件
Without tools; adaptive thinking, max effort.
在排名中查看此成绩
Accuracy77.4%原文 77.4% · 单位 %
公布 未确认

结果冲突待核对,精确排名不采用。

Adaptive max, image-cropping tool
设置
Adaptive thinking enabled; max effort; simple image-cropping tool available.
未知项
Default sampling settings apply unless otherwise stated.
工具
允许工具
推理预算
max
框架
未记录
协议
CharXiv Reasoning, 1,000 validation questions; five-run average. Tools: image cropping.
条件
Simple image-cropping tool; adaptive thinking, max effort. 同一系统卡图中为 79.4%,正文为 77.4%;未发现更正依据,两值均不参与精确排名。
在排名中查看此成绩
Accuracy79.4%原文 79.4% · 单位 %
公布 未确认

结果冲突待核对,精确排名不采用。

Adaptive max, image-cropping tool
设置
Adaptive thinking enabled; max effort; simple image-cropping tool available.
未知项
Default sampling settings apply unless otherwise stated.
工具
允许工具
推理预算
max
框架
未记录
协议
CharXiv Reasoning, 1,000 validation questions; five-run average. Tools: image cropping.
条件
Figure 2.17.3.A prints 79.4% for Sonnet 4.6 with an image-cropping tool, conflicting with the 77.4% prose result in §2.17.3, PDF p.36, already recorded in the core candidate. Both source values are retained without resolving the discrepancy.
在排名中查看此成绩

Claude Sonnet 5

· 本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录)

与直接前代的记录缺少满足差值计算的同条件依据。

Claude Sonnet 5 · CharXiv Reasoning 成绩与配置
指标与成绩配置与评测条件出处
Accuracy77%原文 77.0% · 单位 %
公布 未确认
Adaptive thinking, max effort, no tools
设置
Adaptive thinking at max effort; no tools.
未知项
未另记
工具
禁止工具
推理预算
max
框架
未记录
协议
CharXiv Reasoning, 1,000 validation questions; five-run average. Tools: none.
条件
No tools; adaptive thinking and max effort; Sonnet 4.6 grader.
在排名中查看此成绩
Accuracy88.3%原文 88.3% · 单位 %
公布 未确认
Adaptive thinking, max effort, tools enabled
设置
Adaptive thinking at max effort; tools enabled as specified per benchmark.
未知项
未另记
工具
允许工具
推理预算
max
框架
未记录
协议
CharXiv Reasoning, 1,000 validation questions; five-run average. Tools: Python and image cropping.
条件
Python tools and image-cropping available; adaptive thinking and max effort; Sonnet 4.6 grader.
在排名中查看此成绩