Claude Opus 4.8 · Humanity's Last Exam(2,500-question benchmark) · 主文证据(ev-op48-hle)

Claude Opus 4.8 的 Humanity's Last Exam · 2,500-question benchmark 官方出处。见《Introducing Claude Opus 4.8》Humanity's Last Exam 行。证据 ev-op48-hle。

原文与定位

Claude Opus 4.8 · Humanity's Last Exam(2,500-question benchmark),HLE 无工具配置,Accuracy 49.8%(具体成绩公布时间未确认)。见《Introducing Claude Opus 4.8》Humanity's Last Exam 行。 查看成绩条件

Claude Opus 4.8 · Humanity's Last Exam(2,500-question benchmark),HLE 有工具配置,Accuracy 57.9%(具体成绩公布时间未确认)。见《Introducing Claude Opus 4.8》Humanity's Last Exam 行。 查看成绩条件

Opus 4.8: 49.8% without tools; 57.9% with tools.
官方材料
Introducing Claude Opus 4.8 · 定位到章节
定位
主文 · Humanity's Last Exam 行
材料版本
官方发布页;本地保存 HTML/TXT 与主表 PNG:本地留存副本、本地留存副本、本地留存副本;原文发布日期 2026-05-28,当前修订时间未知
版本公布
未确认
披露时间
未确认 · 首发/后补未确认
采集时间
历史依据
暂无可靠历史版本依据
引用文本

Claude Opus 4.8 · Humanity's Last Exam(2,500-question benchmark),HLE 无工具配置,Accuracy 49.8%(具体成绩公布时间未确认);Claude Opus 4.8 · Humanity's Last Exam(2,500-question benchmark),HLE 有工具配置,Accuracy 57.9%(具体成绩公布时间未确认)。官方出处 Introducing Claude Opus 4.8(主文,官方发布页;本地保存 HTML/TXT 与主表 PNG:本地留存副本、本地留存副本、本地留存副本;原文发布日期 2026-05-28,当前修订时间未知)Humanity's Last Exam 行,https://www.anthropic.com/news/claude-opus-4-8#opus-48s-capabilities。Benchlog https://benchlog.lekshome.cc/evidence/claude-opus-4-8/ev-op48-hle/

关联成绩与条件

Claude Opus 4.8 · Humanity's Last Exam 成绩与配置
指标与成绩配置与评测条件证据关系
Accuracy49.8%原文 49.8% · 单位 %
公布 未确认
HLE 无工具
设置
Humanity’s Last Exam; reasoning only, no tools; auto thinking and max effort; 1M total-token cap; no context compaction. Some items exceed the Public API one-hour sampling limit.
未知项
具体题集与试验数未列于主表。
工具
禁止工具
推理预算
max
框架
未记录
协议
Humanity’s Last Exam; reasoning only, no tools; auto thinking, max effort; 1M total-token cap; no context compaction.
条件
The System Card says some no-tools problems exceed the Public API one-hour sampling limit; retain the reported 49.8% and source evidence with this reproducibility limitation.

直接支持该成绩

Accuracy57.9%原文 57.9% · 单位 %
公布 未确认
HLE 有工具
设置
Humanity’s Last Exam; web search, web fetch, programmatic tool calling and code execution; auto thinking and max effort; 1M total-token cap; no context compaction; Opus 4.6 transcript review/regrade for confirmed answer retrieval.
未知项
具体题集与试验数未列于主表。
工具
允许工具
推理预算
max
框架
未记录
协议
Humanity’s Last Exam with web search, web fetch, programmatic tool calling and code execution; auto thinking, max effort; 1M total-token cap; no context compaction.
条件
Opus 4.6 transcript review and regrade were used to confirm HLE answer retrieval.

直接支持该成绩

在排名中查看此成绩