GPT 无后缀型号 · SWE-Lancer · IC Diamond set · 历代记录

按发布时间查看 GPT 无后缀型号 的 2 次发布在 SWE-Lancer · IC Diamond set 的成绩、配置与披露。

仅为直接前代间的唯一、有效精确值计算差值,要求单位、指标与明确记录的配置和条件一致。

GPT-5

· 本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录)

GPT-5 · SWE-Lancer 成绩与配置
指标与成绩配置与评测条件出处
Freelance coding task value$112,000.00 USD原文 $112K · 单位 USD
公布
GPT-5 (high)
设置
API reasoning model; the developer release benchmark table labels high reasoning effort.
未知项
未另记
工具
工具条件未记录
推理预算
high
框架
未记录
协议
SWE-Lancer IC SWE Diamond; freelance coding task value.
条件
API GPT-5; high reasoning effort. The table reports task value in USD, not a percentage.
在排名中查看此成绩
Score55%原文 55% · 单位 %
公布
Preparedness · non-public verbosity
设置
High reasoning effort; maximum trained-in verbosity higher than public API high; one attempt per problem; no browsing. GPT-5 System Card current p.37 states that all Preparedness evaluations use this non-public verbosity.
未知项
该verbosity未通过当时公共API提供;不映射为普通High。
工具
工具条件未记录
推理预算
High
框架
未记录
协议
SWE-Lancer IC SWE Diamond, pass@1; no browsing.
条件
High reasoning effort; one attempt per problem; launch-candidate figure label. Card explicitly states all Preparedness evaluations use maximum trained-in verbosity above the API high setting; retained raw, excluded from ordinary presentation.

GPT-5.1

· 本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)

与直接前代的记录缺少满足差值计算的同条件依据。

GPT-5.1 · SWE-Lancer 成绩与配置
指标与成绩配置与评测条件出处
Score62%原文 62% · 单位 %
公布 未确认
Codex-Max system-card later comparison
设置
GPT-5.1 comparison bars in the GPT-5.1-Codex-Max System Card; per-model effort not independently identified.
未知项
比较图没有逐模型明确所有采样与effort设置;不根据对照模型或token预算推定档位。
工具
工具条件未记录
推理预算
未记录
框架
未记录
协议
SWE-Lancer IC SWE Diamond; July 17, 2025 dataset update; pass@1; no browsing.
条件
原图明示百分比;未从柱高估数。GPT-5.1对照值属于后续来源。卡片当前修订时点未确认,publishedAt保持null;不混入内部PR/Proof Q&A或风险子任务。
在排名中查看此成绩