ZeroBench main(ツールあり・pass@5)
難しい画像推論問題(main set)をツールありで 5 回試行した pass@5。
- 分類
- マルチモーダル
- 単位
- パーセント(%)
- 高いほど良い
- 比較グループ
- 3グループ
- すべてのモデルの順位(記録)・順位を付けた結果 3 件
すべてのモデルの順位(記録)
旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。
旧モデル・選べないモデルを含む順位を開く(3 件)
公式の結果(Kimi K3.1 Pro (Hugging Face model card, moonshotai))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Kimi K3.1 Pro | Max | 63.0% | — | Moonshot AI | Kimi K3.1 Pro (Hugging Face model card, moonshotai)2026-11-13 取得・ベンダー発表値(Moonshot AI 自己申告)。表の列見出し Kimi K3.1 Pro (max)、表注: all Kimi K3.1 Pro results use reasoning effort max, temperature 1.0, top-p 0.95。Python ツールあり・5 回出典の該当箇所ZeroBench_main w/ python (pass@5) | 63.0所在 HF モデルカード「3. Evaluation Results」の表、ZeroBench_main w/ python (pass@5) 行・Kimi K3.1 Pro (max) 列(左端の数値列)。根拠の脚注: Agentic 11 |
公式の結果(Kimi K3 (Hugging Face model card, moonshotai))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Kimi K3 | Max | 41.0% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)2026-11-13 取得・ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0。Python ツールあり出典の該当箇所ZeroBench (pass@5) | 23.0 / 41.0所在 HF モデルカード「3. Evaluation Results」の表、ZeroBench (pass@5)(ツールなし / ありの右) 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Multimodal(ZeroBench は公式設定で 5 回) |
公式の結果(DeepSeek-V4.1-Flash (Hugging Face model card, deepseek-ai))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | DeepSeek-V4.1-Flash | 記載なし | 49.0% | — | DeepSeek | DeepSeek-V4.1-Flash (Hugging Face model card, deepseek-ai)2026-11-13 取得・ベンダー発表値(DeepSeek 自己申告)。カード「Instruct Model」: All instruct results below use the maximum effort setting (reasoning_effort=100)、temperature=1.0・top_p=0.95。reasoning_effort=100 は API の effort 名(low/high/max)との対応が公式に書かれていないため effort は null。Claude Code ハーネス・512k コンテキストで評価出典の該当箇所ZeroBench-main w/ tools (Pass@5) | 49.0所在 HF モデルカード「Comparison with frontier models (Max reasoning effort)」の表、ZeroBench-main w/ tools (Pass@5) 行・DS-V4.1-Flash 列(右端) |