Claude Haiku 4.5 · tau2-bench · Airline category · 成绩与配置

Claude Haiku 4.5 的 tau2-bench · Airline category 记录。本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录),附 1 条来源定位。

成绩与评测条件

Claude Haiku 4.5 · tau2-bench 成绩与配置
指标与成绩配置与评测条件出处
Category score63.6%原文 63.6% · 单位 %
公布 未确认
发布表报告值
设置
SWE-bench: full 500 problems, 50 trials, no test-time compute, 128K thinking budget, default sampling; Terminal-Bench: Terminus 2, 11 runs split between no thinking and 32K thinking; OSWorld: OSWorld-Verified, 100 steps, 4 runs; GPQA/MMMLU/MMMU follow source table.
未知项
AIME 的 Python 工具使用情况按两个分列配置保存;其余各项的逐行配置以主文脚注为准。
工具
允许工具
推理预算
思考预算 128K
框架
未记录
协议
τ²-bench Airline。
条件
系统卡指出 Airline/Telecom policy prompt addendum;须保留方法提示,跨模型值不宜无条件视为完全可比。
在排名中查看此成绩

出处与披露

测试版本与指标

别名 τ2-bench Airline

  • Category score · % · 越高越好