Agents' Last Exam(pass rate・版の記載なし)
Agents' Last Exam の pass rate。出典に版の記載が無いため v1.1(rubric score)とは分けている。
- 分類
- コンピュータ操作
- 単位
- パーセント(%)
- 高いほど良い
- 比較グループ
- 3グループ
- すべてのモデルの順位(記録)・順位を付けた結果 4 件
すべてのモデルの順位(記録)
旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。
旧モデル・選べないモデルを含む順位を開く(4 件)
公式の結果(Gemini 4 Argon model card)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Gemini 4 Argon | 記載なし | 39.5% | — | Gemini 4 Argon model card2026-11-12 取得・ベンダー発表値。Google 自己申告(model card, 2026-10 時点)。thinking 設定の記載なし。指標は Pass rate(Carbon 比較表の rubric Score 69.0% とは別指標)、バージョン表記なし出典の該当箇所Agent's Last Exam (Pass rate) | 39.5% |
公式の結果(Gemini 3.7 Flash model card)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Gemini 3.7 Flash | 記載なし | 26.3% | — | Gemini 3.7 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.com/models/evals-methodology/gemini-3-7-flash): All of the results are run with the Gemini API ... with default sampling settings unless indicated otherwise。自社計算・既定の ALE-Claw ハーネス。版の記載なし出典の該当箇所Agent's Last Exam Multimodal desktop and OS agent tasks | Pass rate | 26.3%所在 Gemini 3.7 Flash model card の Evaluation 表、Agent's Last Exam(Pass rate) 行・Gemini 3.7 Flash 列。自社計算の根拠は methodology PDF の Computer use / Agent's Last Exam | |
| 2 | Gemini 3.6 Flash | 記載なし | 24.2% | — | Gemini 3.7 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.com/models/evals-methodology/gemini-3-7-flash): All of the results are run with the Gemini API ... with default sampling settings unless indicated otherwise。自社計算・既定の ALE-Claw ハーネス。版の記載なし出典の該当箇所Agent's Last Exam Multimodal desktop and OS agent tasks | Pass rate | 24.2%所在 Gemini 3.7 Flash model card の Evaluation 表、Agent's Last Exam(Pass rate) 行・Gemini 3.6 Flash 列。自社計算の根拠は methodology PDF の Computer use / Agent's Last Exam |
公式の結果(DeepSeek-V4.1-Flash (Hugging Face model card, deepseek-ai))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | DeepSeek-V4.1-Flash | 記載なし | 31.8% | — | DeepSeek | DeepSeek-V4.1-Flash (Hugging Face model card, deepseek-ai)2026-11-13 取得・ベンダー発表値(DeepSeek 自己申告)。カード「Instruct Model」: All instruct results below use the maximum effort setting (reasoning_effort=100)、temperature=1.0・top_p=0.95。reasoning_effort=100 は API の effort 名(low/high/max)との対応が公式に書かれていないため effort は null。公式の scaffold で評価。版の記載なし出典の該当箇所Agent's Last Exam (Pass@1) | 31.8所在 HF モデルカード「Comparison with frontier models (Max reasoning effort)」の表、Agent's Last Exam (Pass@1) 行・DS-V4.1-Flash 列(右端) |