SWE-Bench Pro · Public · 测试定义与成绩

SWE-Bench Pro · Public 收录 10 次模型发布的评测披露或成绩。

测试版本与指标

别名 SWE-Bench Pro (Public)

  • Task success rate · % · 越高越好

各系列最新模型 · 公布成绩

常规展示范围。排名按指标与评测协议分组,已记录的工具、预算及框架分别展示。条件未说明的组保留公布值供查证。

Task success rate %

工具条件未记录 / high / Antigravity · Self-computed on public set following provider methodology with internal Antigravity harness.

SWE-Bench Pro · Public · Task success rate · 工具条件未记录 / high / Antigravity · Self-computed on public set following provider methodology with internal Antigravity harness.
模型与配置成绩(%)记录与证据
Gemini 3.5 Flash-LiteHigh54.2%

工具条件未记录 / xhigh / 框架未记录 · 条件未说明

SWE-Bench Pro · Public · Task success rate · 工具条件未记录 / xhigh / 框架未记录 · 条件未说明
模型与配置成绩(%)记录与证据
GPT-5.5Xhigh58.6%

工具条件未记录 / xhigh / 框架未记录 · SWE-Bench Pro, Public.

SWE-Bench Pro · Public · Task success rate · 工具条件未记录 / xhigh / 框架未记录 · SWE-Bench Pro, Public.
名次模型与配置成绩(%)记录与证据
1GPT-5.4 miniXhigh54.4%
2GPT-5.4 nanoXhigh52.4%

工具条件未记录 / high / 框架未记录 · Public benchmark; single attempt; average over 5 runs.

SWE-Bench Pro · Public · Task success rate · 工具条件未记录 / high / 框架未记录 · Public benchmark; single attempt; average over 5 runs.
模型与配置成绩(%)记录与证据
Gemini 3.1 ProHigh54.2%

工具条件未记录 / xhigh / 框架未记录 · SWE-Bench Pro public set.

SWE-Bench Pro · Public · Task success rate · 工具条件未记录 / xhigh / 框架未记录 · SWE-Bench Pro public set.
模型与配置成绩(%)记录与证据
GPT-5.3 CodexXhigh56.8%

历史记录 · 10 次发布

  • Gemini 3.5 Flash-Lite本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Gemini 3.6 Flash本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • GPT-5.5本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • GPT-5.4 mini本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • GPT-5.4 nano本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • GPT-5.4本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Gemini 3.1 Pro本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • GPT-5.3 Codex本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • GPT-5.2 Codex本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • GPT-5.2本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)