Claude Opus 4.6 · DeepSearchQA · 900 prompts;单代理与多代理按协议区分 · 成绩与配置

Claude Opus 4.6 的 DeepSearchQA · 900 prompts;单代理与多代理按协议区分 记录。本次发布有 19 条成绩记录,含 19 条精确值(可含历史记录),附 4 条来源定位。

成绩与评测条件

Claude Opus 4.6 · DeepSearchQA 成绩与配置
指标与成绩配置与评测条件出处
F1 score85.3%原文 85.3% · 单位 %
公布 未确认
DeepSearchQA · Low · compaction-ptc · 3M
设置
Single agent;adaptive thinking;Low effort;50K context compaction;PTC enabled;3M total-token limit。
未知项
Figure 2.21.3.1.A reports one run per datapoint; the card notes possible noise.
工具
工具条件未记录
推理预算
low
框架
未记录
协议
DeepSearchQA;single-agent;compaction-ptc。
条件
Figure 2.21.3.1.A; one run per datapoint; possible noise;adaptive thinking enabled;Low effort;3M total-token limit;50K context compaction;PTC enabled。
在排名中查看此成绩
F1 score87.9%原文 87.9% · 单位 %
公布 未确认
DeepSearchQA · Medium · compaction-ptc · 3M
设置
Single agent;adaptive thinking;Medium effort;50K context compaction;PTC enabled;3M total-token limit。
未知项
Figure 2.21.3.1.A reports one run per datapoint; the card notes possible noise.
工具
工具条件未记录
推理预算
medium
框架
未记录
协议
DeepSearchQA;single-agent;compaction-ptc。
条件
Figure 2.21.3.1.A; one run per datapoint; possible noise;adaptive thinking enabled;Medium effort;3M total-token limit;50K context compaction;PTC enabled。
在排名中查看此成绩
F1 score90.3%原文 90.3% · 单位 %
公布 未确认
DeepSearchQA · High · compaction-ptc · 3M
设置
Single agent;adaptive thinking;High effort;50K context compaction;PTC enabled;3M total-token limit。
未知项
Figure 2.21.3.1.A reports one run per datapoint; the card notes possible noise.
工具
工具条件未记录
推理预算
high
框架
未记录
协议
DeepSearchQA;single-agent;compaction-ptc。
条件
Figure 2.21.3.1.A; one run per datapoint; possible noise;adaptive thinking enabled;High effort;3M total-token limit;50K context compaction;PTC enabled。
在排名中查看此成绩
F1 score90.5%原文 90.5% · 单位 %
公布 未确认
DeepSearchQA · Max · compaction-ptc · 3M
设置
Single agent;adaptive thinking;Max effort;50K context compaction;PTC enabled;3M total-token limit。
未知项
Figure 2.21.3.1.A reports one run per datapoint; the card notes possible noise.
工具
工具条件未记录
推理预算
max
框架
未记录
协议
DeepSearchQA;single-agent;compaction-ptc。
条件
Figure 2.21.3.1.A; one run per datapoint; possible noise;adaptive thinking enabled;Max effort;3M total-token limit;50K context compaction;PTC enabled。
在排名中查看此成绩
F1 score84.5%原文 84.5% · 单位 %
公布 未确认
DeepSearchQA · Low · compaction-no-ptc · 3M
设置
Single agent;adaptive thinking;Low effort;50K context compaction;PTC disabled;3M total-token limit。
未知项
Figure 2.21.3.1.A reports one run per datapoint; the card notes possible noise.
工具
工具条件未记录
推理预算
low
框架
未记录
协议
DeepSearchQA;single-agent;compaction-no-ptc。
条件
Figure 2.21.3.1.A; one run per datapoint; possible noise;adaptive thinking enabled;Low effort;3M total-token limit;50K context compaction;PTC disabled。
F1 score87.3%原文 87.3% · 单位 %
公布 未确认
DeepSearchQA · Medium · compaction-no-ptc · 3M
设置
Single agent;adaptive thinking;Medium effort;50K context compaction;PTC disabled;3M total-token limit。
未知项
Figure 2.21.3.1.A reports one run per datapoint; the card notes possible noise.
工具
工具条件未记录
推理预算
medium
框架
未记录
协议
DeepSearchQA;single-agent;compaction-no-ptc。
条件
Figure 2.21.3.1.A; one run per datapoint; possible noise;adaptive thinking enabled;Medium effort;3M total-token limit;50K context compaction;PTC disabled。
F1 score87.8%原文 87.8% · 单位 %
公布 未确认
DeepSearchQA · High · compaction-no-ptc · 3M
设置
Single agent;adaptive thinking;High effort;50K context compaction;PTC disabled;3M total-token limit。
未知项
Figure 2.21.3.1.A reports one run per datapoint; the card notes possible noise.
工具
工具条件未记录
推理预算
high
框架
未记录
协议
DeepSearchQA;single-agent;compaction-no-ptc。
条件
Figure 2.21.3.1.A; one run per datapoint; possible noise;adaptive thinking enabled;High effort;3M total-token limit;50K context compaction;PTC disabled。
F1 score88.2%原文 88.2% · 单位 %
公布 未确认
DeepSearchQA · Max · compaction-no-ptc · 3M
设置
Single agent;adaptive thinking;Max effort;50K context compaction;PTC disabled;3M total-token limit。
未知项
Figure 2.21.3.1.A reports one run per datapoint; the card notes possible noise.
工具
工具条件未记录
推理预算
max
框架
未记录
协议
DeepSearchQA;single-agent;compaction-no-ptc。
条件
Figure 2.21.3.1.A; one run per datapoint; possible noise;adaptive thinking enabled;Max effort;3M total-token limit;50K context compaction;PTC disabled。
F1 score84.4%原文 84.4% · 单位 %
公布 未确认
DeepSearchQA · Low · no-compaction-ptc · 3M
设置
Single agent;adaptive thinking;Low effort;no context compaction;PTC enabled;3M total-token limit。
未知项
Figure 2.21.3.1.A reports one run per datapoint; the card notes possible noise.
工具
工具条件未记录
推理预算
low
框架
未记录
协议
DeepSearchQA;single-agent;no-compaction-ptc。
条件
Figure 2.21.3.1.A; one run per datapoint; possible noise;adaptive thinking enabled;Low effort;3M total-token limit;no context compaction;PTC enabled。
F1 score87.6%原文 87.6% · 单位 %
公布 未确认
DeepSearchQA · Medium · no-compaction-ptc · 3M
设置
Single agent;adaptive thinking;Medium effort;no context compaction;PTC enabled;3M total-token limit。
未知项
Figure 2.21.3.1.A reports one run per datapoint; the card notes possible noise.
工具
工具条件未记录
推理预算
medium
框架
未记录
协议
DeepSearchQA;single-agent;no-compaction-ptc。
条件
Figure 2.21.3.1.A; one run per datapoint; possible noise;adaptive thinking enabled;Medium effort;3M total-token limit;no context compaction;PTC enabled。
F1 score87.3%原文 87.3% · 单位 %
公布 未确认
DeepSearchQA · High · no-compaction-ptc · 3M
设置
Single agent;adaptive thinking;High effort;no context compaction;PTC enabled;3M total-token limit。
未知项
Figure 2.21.3.1.A reports one run per datapoint; the card notes possible noise.
工具
工具条件未记录
推理预算
high
框架
未记录
协议
DeepSearchQA;single-agent;no-compaction-ptc。
条件
Figure 2.21.3.1.A; one run per datapoint; possible noise;adaptive thinking enabled;High effort;3M total-token limit;no context compaction;PTC enabled。
F1 score87.7%原文 87.7% · 单位 %
公布 未确认
DeepSearchQA · Max · no-compaction-ptc · 3M
设置
Single agent;adaptive thinking;Max effort;no context compaction;PTC enabled;3M total-token limit。
未知项
Figure 2.21.3.1.A reports one run per datapoint; the card notes possible noise.
工具
工具条件未记录
推理预算
max
框架
未记录
协议
DeepSearchQA;single-agent;no-compaction-ptc。
条件
Figure 2.21.3.1.A; one run per datapoint; possible noise;adaptive thinking enabled;Max effort;3M total-token limit;no context compaction;PTC enabled。
F1 score81.1%原文 81.1% · 单位 %
公布 未确认
DeepSearchQA · Low · no-compaction-no-ptc · 3M
设置
Single agent;adaptive thinking;Low effort;no context compaction;PTC disabled;3M total-token limit。
未知项
Figure 2.21.3.1.A reports one run per datapoint; the card notes possible noise.
工具
工具条件未记录
推理预算
low
框架
未记录
协议
DeepSearchQA;single-agent;no-compaction-no-ptc。
条件
Figure 2.21.3.1.A; one run per datapoint; possible noise;adaptive thinking enabled;Low effort;3M total-token limit;no context compaction;PTC disabled。
F1 score81.9%原文 81.9% · 单位 %
公布 未确认
DeepSearchQA · Medium · no-compaction-no-ptc · 3M
设置
Single agent;adaptive thinking;Medium effort;no context compaction;PTC disabled;3M total-token limit。
未知项
Figure 2.21.3.1.A reports one run per datapoint; the card notes possible noise.
工具
工具条件未记录
推理预算
medium
框架
未记录
协议
DeepSearchQA;single-agent;no-compaction-no-ptc。
条件
Figure 2.21.3.1.A; one run per datapoint; possible noise;adaptive thinking enabled;Medium effort;3M total-token limit;no context compaction;PTC disabled。
F1 score82.1%原文 82.1% · 单位 %
公布 未确认
DeepSearchQA · High · no-compaction-no-ptc · 3M
设置
Single agent;adaptive thinking;High effort;no context compaction;PTC disabled;3M total-token limit。
未知项
Figure 2.21.3.1.A reports one run per datapoint; the card notes possible noise.
工具
工具条件未记录
推理预算
high
框架
未记录
协议
DeepSearchQA;single-agent;no-compaction-no-ptc。
条件
Figure 2.21.3.1.A; one run per datapoint; possible noise;adaptive thinking enabled;High effort;3M total-token limit;no context compaction;PTC disabled。
F1 score82%原文 82.0% · 单位 %
公布 未确认
DeepSearchQA · Max · no-compaction-no-ptc · 3M
设置
Single agent;adaptive thinking;Max effort;no context compaction;PTC disabled;3M total-token limit。
未知项
Figure 2.21.3.1.A reports one run per datapoint; the card notes possible noise.
工具
工具条件未记录
推理预算
max
框架
未记录
协议
DeepSearchQA;single-agent;no-compaction-no-ptc。
条件
Figure 2.21.3.1.A; one run per datapoint; possible noise;adaptive thinking enabled;Max effort;3M total-token limit;no context compaction;PTC disabled。
F1 score91.3%原文 91.3% · 单位 %
公布 未确认
DeepSearchQA · Max · 50K compaction + PTC · 10M
设置
Single agent;adaptive thinking;Max effort;50K context compaction;PTC;10M total-token limit。
未知项
Figure 2.21.3.1.A reports one run per datapoint; the card notes possible noise.
工具
允许工具
推理预算
max
框架
未记录
协议
DeepSearchQA;single-agent;50K context compaction;PTC。
条件
10M total-token limit;adaptive thinking、max effort;standard single-agent configuration;also reported in Figure 2.21.3.A.。
在排名中查看此成绩
F1 score92.5%原文 92.5% · 单位 %
公布 未确认
DeepSearchQA · multi-agent · Max
设置
Orchestrator 无直接工具,仅委派;orchestrator/subagents 均以 50K 触发 compaction、各自最多 3M tokens;web search/fetch、PTC、Max effort。
未知项
多代理结果与单代理成绩分列。
工具
允许工具
推理预算
max
框架
未记录
协议
DeepSearchQA;multi-agent;orchestrator and subagents。
条件
50K context compaction;up to 3M tokens for each orchestrator/subagent; web search/fetch and PTC; max effort. Kept separate from single-agent scores.。
Accuracy84%原文 84.0% · 单位 %
公布 未确认
DeepSearchQA · main figure accuracy
设置
The main figure labels the Opus 4.6 value as accuracy.
未知项
The figure does not specify agent setup, token budget, reasoning effort or trial count; kept separate from card F1 results.
工具
工具条件未记录
推理预算
未记录
框架
未记录
协议
DeepSearchQA; accuracy as labeled by the main figure.
条件
Agent setup, token budget, effort and trial count are not stated. Kept separate from the System Card's DeepSearchQA F1 configurations.
在排名中查看此成绩

出处与披露

测试版本与指标

别名 DeepSearchQA、DeepSearchQA with multi-agents

  • F1 score · % · 越高越好
  • Accuracy · % · 越高越好