NL2Repo-Bench
自然言語の仕様からリポジトリ全体を作る課題のスコア。
- 分類
- エージェント型コーディング
- 単位
- スコア
- 高いほど良い
- 比較グループ
- 4グループ
- すべてのモデルの順位(記録)・順位を付けた結果 4 件
すべてのモデルの順位(記録)
旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。
旧モデル・選べないモデルを含む順位を開く(4 件)
公式の結果(GLM-5.3 (Hugging Face model card, zai-org))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | GLM-5.3 | 記載なし | 58 | — | Z.ai | GLM-5.3 (Hugging Face model card, zai-org)2026-11-13 取得・ベンダー発表値(Z.ai 自己申告)。カードの Note: reasoning_effort の既定は max、ベンチマーク再現には既定の max を使う。1M コンテキスト。この脚注に effort の記載なし出典の該当箇所NL2Repo | 58.0所在 HF モデルカード「Benchmark」の表、NL2Repo 行・GLM-5.3 列(左端の数値列)。根拠: Footnotes の NL2Repo |
公式の結果(Qwen3.8-2.4T-A95B (Hugging Face model card, Qwen))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Qwen3.8-Max | 記載なし | 55.9 | — | Alibaba (Qwen) | Qwen3.8-2.4T-A95B (Hugging Face model card, Qwen)2026-11-13 取得・ベンダー発表値(Alibaba の Qwen チーム自己申告)。表の列は Qwen3.8-Max(カード: Qwen3.8-Max is the official version based on Qwen3.8-2.4T-A95B)。effort の記載なし(reasoning_effort の既定は xhigh)。Claude Code ハーネス出典の該当箇所NL2Repo-Bench | 55.9所在 HF モデルカード「Benchmark Results」の表、NL2Repo-Bench 行・Qwen3.8-Max 列(右端)。根拠: 表下の注 5 |
公式の結果(Qwen3.8-27B (Hugging Face model card, Qwen))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Qwen3.8-27B | 記載なし | 42.3 | — | Alibaba (Qwen) | Qwen3.8-27B (Hugging Face model card, Qwen)2026-11-13 取得・ベンダー発表値(Alibaba の Qwen チーム自己申告)。effort の記載なし(reasoning_effort の既定は xhigh)。Claude Code ハーネス出典の該当箇所Repo-level code generationNL2Repo-Bench | 42.3所在 HF モデルカードのベンチマーク表、NL2Repo-Bench 行・Qwen3.8-27B 列(左端)。根拠: 表下の注 NL2Repo-Bench |
公式の結果(DeepSeek-V4.1-Flash (Hugging Face model card, deepseek-ai))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | DeepSeek-V4.1-Flash | 記載なし | 64 | — | DeepSeek | DeepSeek-V4.1-Flash (Hugging Face model card, deepseek-ai)2026-11-13 取得・ベンダー発表値(DeepSeek 自己申告)。カード「Instruct Model」: All instruct results below use the maximum effort setting (reasoning_effort=100)、temperature=1.0・top_p=0.95。reasoning_effort=100 は API の effort 名(low/high/max)との対応が公式に書かれていないため effort は null。DeepSeek Harness の Minimal モードで評価。DeepSeek-V4.1-Flash-1017 の HF モデルカードの比較表は同じ DS-V4.1-Flash の NL2Repo-Bench を 65.4 とし、このカードの 64.0 と食い違う(値はこのカードどおり)出典の該当箇所NL2Repo-Bench (Score) | 64.0所在 HF モデルカード「Comparison with frontier models (Max reasoning effort)」の表、NL2Repo-Bench (Score) 行・DS-V4.1-Flash 列(右端) |