SWE-bench Multilingual · 300 problems, 9 programming languages · 测试定义与成绩

SWE-bench Multilingual · 300 problems, 9 programming languages 收录 12 次模型发布的评测披露或成绩。

测试版本与指标

别名 SWE-Bench Multilingual

  • Pass rate · % · 越高越好

各系列最新模型 · 公布成绩

常规展示范围。排名按指标与评测协议分组,已记录的工具、预算及框架分别展示。条件未说明的组保留公布值供查证。

Pass rate %

工具条件未记录 / max / 框架未记录 · SWE-bench Multilingual; 300 problems across nine programming languages; mean of five trials.

SWE-bench Multilingual · 300 problems, 9 programming languages · Pass rate · 工具条件未记录 / max / 框架未记录 · SWE-bench Multilingual; 300 problems across nine programming languages; mean of five trials.
模型与配置成绩(%)记录与证据
Claude Fable 5.2Max96.6%

工具条件未记录 / max / 框架未记录 · SWE-bench Multilingual; 300 problems across nine programming languages; five-trial average.

SWE-bench Multilingual · 300 problems, 9 programming languages · Pass rate · 工具条件未记录 / max / 框架未记录 · SWE-bench Multilingual; 300 problems across nine programming languages; five-trial average.
模型与配置成绩(%)记录与证据
Claude Haiku 5.5Max83.7%

工具条件未记录 / max / 框架未记录 · SWE-Bench Multilingual, 300 problems across 9 programming languages; five-trial average.

SWE-bench Multilingual · 300 problems, 9 programming languages · Pass rate · 工具条件未记录 / max / 框架未记录 · SWE-Bench Multilingual, 300 problems across 9 programming languages; five-trial average.
模型与配置成绩(%)记录与证据
Claude Sonnet 5.5Max90.3%

工具条件未记录 / max / 框架未记录 · 300 problems across nine programming languages; five trials averaged.

SWE-bench Multilingual · 300 problems, 9 programming languages · Pass rate · 工具条件未记录 / max / 框架未记录 · 300 problems across nine programming languages; five trials averaged.
模型与配置成绩(%)记录与证据
Claude Opus 5.5Max93.9%

历史记录 · 12 次发布

  • Claude Fable 5.2本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Haiku 5.5本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Sonnet 5.5本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Opus 5.5本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Fable 5.1本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Opus 5本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Sonnet 5本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Opus 4.8本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Opus 4.7本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Sonnet 4.6本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Opus 4.6本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Opus 4.5本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录)