Claude Haiku 4.5 · OSWorld-Verified · Verified benchmark; evaluation protocol noted per source · 成绩与配置

Claude Haiku 4.5 的 OSWorld-Verified · Verified benchmark; evaluation protocol noted per source 记录。本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录),附 1 条来源定位。

成绩与评测条件

Claude Haiku 4.5 · OSWorld-Verified 成绩与配置
指标与成绩配置与评测条件出处
First-attempt success rate50.7%原文 50.7% · 单位 %
公布 未确认
发布表报告值
设置
SWE-bench: full 500 problems, 50 trials, no test-time compute, 128K thinking budget, default sampling; Terminal-Bench: Terminus 2, 11 runs split between no thinking and 32K thinking; OSWorld: OSWorld-Verified, 100 steps, 4 runs; GPQA/MMMLU/MMMU follow source table.
未知项
AIME 的 Python 工具使用情况按两个分列配置保存;其余各项的逐行配置以主文脚注为准。
工具
工具条件未记录
推理预算
思考预算 128K total thinking budget and 2K thinking budget per-step
框架
OSWorld-Verified
协议
官方 OSWorld-Verified framework;100 steps;4 runs。
条件
128K total thinking budget, 2K per step。
在排名中查看此成绩

出处与披露

测试版本与指标

别名 OSWorld Verified

  • First-attempt success rate · % · 越高越好