SWE-Marathon v1.1
長時間のソフトウェアエンジニアリング課題(v1.1)。
- 分類
- エージェント型コーディング
- 単位
- パーセント(%)
- 高いほど良い
- 比較グループ
- 2グループ
- すべてのモデルの順位(記録)・順位を付けた結果 2 件
すべてのモデルの順位(記録)
旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。
旧モデル・選べないモデルを含む順位を開く(2 件)
公式の結果(Kimi K3.1 Pro (Hugging Face model card, moonshotai))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Kimi K3.1 Pro | Max | 51.7% | — | Moonshot AI | Kimi K3.1 Pro (Hugging Face model card, moonshotai)2026-11-13 取得・ベンダー発表値(Moonshot AI 自己申告)。表の列見出し Kimi K3.1 Pro (max)、表注: all Kimi K3.1 Pro results use reasoning effort max, temperature 1.0, top-p 0.95。Claude Code で評価出典の該当箇所SWE Marathon v1.1 | 51.7所在 HF モデルカード「3. Evaluation Results」の表、SWE Marathon v1.1 行・Kimi K3.1 Pro (max) 列(左端の数値列)。根拠の脚注: Coding 3 |
公式の結果(GLM-5.3 (Hugging Face model card, zai-org))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | GLM-5.3 | Max | 42.5% | — | Z.ai | GLM-5.3 (Hugging Face model card, zai-org)2026-11-13 取得・ベンダー発表値(Z.ai 自己申告)。カードの Note: reasoning_effort の既定は max、ベンチマーク再現には既定の max を使う。Claude Code 2.1.207・maximum effort level。一部タスクの anti-cheat 検査とビルド設定を変更出典の該当箇所SWE-Marathon (v1.1) | 42.5所在 HF モデルカード「Benchmark」の表、SWE-Marathon (v1.1) 行・GLM-5.3 列(左端の数値列)。根拠: Footnotes の SWE-Marathon |