GLM-5.3 · SWE-Marathon (v1.1) · GLM-5.3模型卡;v1.1 · 成绩与配置

GLM-5.3 的 SWE-Marathon (v1.1) · GLM-5.3模型卡;v1.1 记录。本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录),附 2 条来源定位。

成绩与评测条件

GLM-5.3 · SWE-Marathon (v1.1) 成绩与配置
指标与成绩配置与评测条件出处
Reported score42.5原文 42.5 · 单位 未标注
公布 未确认
GLM-5.3 · max
设置
官方模型卡目标列;逐行scaffold、工具、采样及预算条件见protocol。来源把benchmark复现明确绑定max或行内明确reasoning_effort=max。
未知项
未逐项说明的指标单位、题集修订、服务精度和运行次数保持未知。
工具
工具条件未记录
推理预算
max · 输出上限 128000 tokens
框架
Claude Code 2.1.207
协议
The card says reasoning_effort defaults to max and recommends keeping that default for benchmark reproduction. **SWE-Marathon**: We evaluate GLM-5.3 using Claude Code 2.1.207 with maximum effort level, `temperature = 1.0`, `top_p = 0.95`, `max_new_tokens = 128000`, and a 1M-token context window. For `strip-clone`, the original anti-cheat checks used overly broad import detection that could reject valid implementations. We removed the affected checks and performed llm-based inspection instead to avoid false positives. For `parameter-golf` and `trimul-cuda`, changes to the NVIDIA wheels caused the Docker image builds to fail, so we added `--extra-index-url https://pypi.org/simple` to restore successful builds.
条件
GLM-5.3; exact score definition and unit unspecified. 2026-11-18按完整模型卡修正单位、指标/题集或协议标注,数字不变。
在排名中查看此成绩

出处与披露

测试版本与指标

别名 SWE-Marathon (v1.1)

  • Reported score · 单位未标注 · 排序方向未确认