AutomationBench
Zapier 作成。多数の連携アプリをまたぐ業務ワークフローを遂行できるか。
- 分類
- ツール利用
- 単位
- パーセント(%)
- 高いほど良い
- 比較グループ
- 2グループ
- 今選べるモデルの順位・順位を付けた結果 13 件
- すべてのモデル(記録): 4 グループ・29 件
ランキング
出典区分(公式・第三者・論文)と測定条件が違う値は比べられないため、比較グループ(同じ出典か、同じ条件と確認できた出典の集まり)ごとに分けて順位を付けています。
今 Claude Code / Codex で選べるモデル(旧モデルを除く)だけで順位を付けています。
公式の結果(Introducing Claude Opus 5.5)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | GPT-6 Astra | Max | 41.4% | $1.77Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード); 図の effort ラベル「Max」を OpenAI API の reasoning effort の max に対応づけた出典の該当箇所AutomationBench — Accuracy vs Cost: "GPT-6 Astra · Max: 41.4% $1.77" |
| 2 | Claude Opus 5.5 | Max | 40.0% | $1.37Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード)出典の該当箇所AutomationBench — Accuracy vs Cost: "Opus 5.5 · Max: 40.0% $1.37" |
| 3 | GPT-6 Astra | Xhigh | 39.0% | $1.53Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード); 図の effort ラベル「Xhigh」を OpenAI API の reasoning effort の xhigh に対応づけた出典の該当箇所AutomationBench — Accuracy vs Cost: "GPT-6 Astra · Xhigh: 39.0% $1.53" |
| 4 | GPT-6 Astra | High | 37.1% | $1.45Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード); 図の effort ラベル「High」を OpenAI API の reasoning effort の high に対応づけた出典の該当箇所AutomationBench — Accuracy vs Cost: "GPT-6 Astra · High: 37.1% $1.45" |
| 5 | Claude Opus 5.5 | Xhigh | 34.4% | $0.86Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード)出典の該当箇所AutomationBench — Accuracy vs Cost: "Opus 5.5 · Xhigh: 34.4% $0.86" |
| 6 | GPT-6 Astra | Med | 34.1% | $1.28Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード); 図の effort ラベル「Med」を OpenAI API の reasoning effort の medium に対応づけた出典の該当箇所AutomationBench — Accuracy vs Cost: "GPT-6 Astra · Med: 34.1% $1.28" |
| 7 | Claude Opus 5.5 | High | 32.0% | $0.70Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード)出典の該当箇所AutomationBench — Accuracy vs Cost: "Opus 5.5 · High: 32.0% $0.70" |
| 8 | GPT-6 Astra | Low | 30.3% | $1.08Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード); 図の effort ラベル「Low」を OpenAI API の reasoning effort の low に対応づけた出典の該当箇所AutomationBench — Accuracy vs Cost: "GPT-6 Astra · Low: 30.3% $1.08" |
| 9 | Claude Opus 5.5 | Med | 28.6% | $0.64Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード)出典の該当箇所AutomationBench — Accuracy vs Cost: "Opus 5.5 · Med: 28.6% $0.64" |
| 10 | Claude Opus 5.5 | Low | 23.3% | $0.50Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード)出典の該当箇所AutomationBench — Accuracy vs Cost: "Opus 5.5 · Low: 23.3% $0.50" |
公式の結果(Introducing Claude Fable 5.2 and Claude Mythos 5.2)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Claude Fable 5.2 | 記載なし | 51.4% | — | Anthropic | Introducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted.出典の該当箇所51.4%所在 表 AutomationBench 行: 51.4 |
| 2 | Claude Opus 5.5 | 記載なし | 42.5% | — | Anthropic | Introducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted.出典の該当箇所42.5%所在 表 AutomationBench 行: 42.5 |
| 3 | GPT-6 Astra | 記載なし | 41.4% | — | 記載なし | Introducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted. 他社モデル値(Anthropic 掲載)。出典の該当箇所41.4%所在 表 AutomationBench 行: 41.4 |
すべてのモデルの順位(記録)
旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。
旧モデル・選べないモデルを含む順位を開く(29 件)
公式の結果(Introducing Claude Opus 5.5)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | GPT-6 Astra | Max | 41.4% | $1.77Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード); 図の effort ラベル「Max」を OpenAI API の reasoning effort の max に対応づけた出典の該当箇所AutomationBench — Accuracy vs Cost: "GPT-6 Astra · Max: 41.4% $1.77" |
| 2 | Claude Opus 5.5 | Max | 40.0% | $1.37Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード)出典の該当箇所AutomationBench — Accuracy vs Cost: "Opus 5.5 · Max: 40.0% $1.37" |
| 3 | GPT-6 Astra | Xhigh | 39.0% | $1.53Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード); 図の effort ラベル「Xhigh」を OpenAI API の reasoning effort の xhigh に対応づけた出典の該当箇所AutomationBench — Accuracy vs Cost: "GPT-6 Astra · Xhigh: 39.0% $1.53" |
| 4 | GPT-6 Astra | High | 37.1% | $1.45Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード); 図の effort ラベル「High」を OpenAI API の reasoning effort の high に対応づけた出典の該当箇所AutomationBench — Accuracy vs Cost: "GPT-6 Astra · High: 37.1% $1.45" |
| 5 | Claude Opus 5.5 | Xhigh | 34.4% | $0.86Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード)出典の該当箇所AutomationBench — Accuracy vs Cost: "Opus 5.5 · Xhigh: 34.4% $0.86" |
| 6 | GPT-6 Astra | Med | 34.1% | $1.28Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード); 図の effort ラベル「Med」を OpenAI API の reasoning effort の medium に対応づけた出典の該当箇所AutomationBench — Accuracy vs Cost: "GPT-6 Astra · Med: 34.1% $1.28" |
| 7 | Claude Opus 5.5 | High | 32.0% | $0.70Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード)出典の該当箇所AutomationBench — Accuracy vs Cost: "Opus 5.5 · High: 32.0% $0.70" |
| 8 | Claude Fable 5.1 | 記載なし | 31.4% | — | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。表注: Unless otherwise noted, all Claude Opus 5.5 results use adaptive thinking at max effort. production safeguards 有効。 Zapier 実行・報告。出典の該当箇所31.4%所在 表 AutomationBench 行: 31.4 |
| 9 | GPT-6 Astra | Low | 30.3% | $1.08Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード); 図の effort ラベル「Low」を OpenAI API の reasoning effort の low に対応づけた出典の該当箇所AutomationBench — Accuracy vs Cost: "GPT-6 Astra · Low: 30.3% $1.08" |
| 10 | GPT-5.6 Sol | Max | 28.8% | $0.91Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード); 図の effort ラベル「Max」を OpenAI API の reasoning effort の max に対応づけた出典の該当箇所AutomationBench — Accuracy vs Cost: "GPT-5.6 Sol · Max: 28.8% $0.91" |
| 11 | Claude Opus 5.5 | Med | 28.6% | $0.64Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード)出典の該当箇所AutomationBench — Accuracy vs Cost: "Opus 5.5 · Med: 28.6% $0.64" |
| 12 | Claude Opus 5 | Max | 26.9% | $1.27Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード)出典の該当箇所AutomationBench — Accuracy vs Cost: "Opus 5 · Max: 26.9% $1.27" |
| 13 | GPT-5.6 Sol | Xhigh | 26.3% | $0.74Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード); 図の effort ラベル「Xhigh」を OpenAI API の reasoning effort の xhigh に対応づけた出典の該当箇所AutomationBench — Accuracy vs Cost: "GPT-5.6 Sol · Xhigh: 26.3% $0.74" |
| 14 | Claude Opus 5 | Xhigh | 25.3% | $1.15Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード)出典の該当箇所AutomationBench — Accuracy vs Cost: "Opus 5 · Xhigh: 25.3% $1.15" |
| 15 | GPT-5.6 Sol | High | 24.8% | $0.64Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード); 図の effort ラベル「High」を OpenAI API の reasoning effort の high に対応づけた出典の該当箇所AutomationBench — Accuracy vs Cost: "GPT-5.6 Sol · High: 24.8% $0.64" |
| 16 | Claude Opus 5 | Med | 23.9% | $0.89Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード)出典の該当箇所AutomationBench — Accuracy vs Cost: "Opus 5 · Med: 23.9% $0.89" |
| 17 | Claude Opus 5.5 | Low | 23.3% | $0.50Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード)出典の該当箇所AutomationBench — Accuracy vs Cost: "Opus 5.5 · Low: 23.3% $0.50" |
| 18 | Claude Opus 5 | High | 20.6% | $1.03Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード)出典の該当箇所AutomationBench — Accuracy vs Cost: "Opus 5 · High: 20.6% $1.03" |
| 19 | Claude Opus 5 | Low | 20.4% | $0.75Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード)出典の該当箇所AutomationBench — Accuracy vs Cost: "Opus 5 · Low: 20.4% $0.75" |
| 20 | GPT-5.6 Sol | Med | 19.6% | $0.57Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード); 図の effort ラベル「Med」を OpenAI API の reasoning effort の medium に対応づけた出典の該当箇所AutomationBench — Accuracy vs Cost: "GPT-5.6 Sol · Med: 19.6% $0.57" |
| 21 | GPT-5.6 Sol | Low | 11.7% | $0.42Cost per task | Zapier | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。Anthropic 発表ページの図「AutomationBench / Accuracy vs Cost」の点。値は図の各点の aria-label(DOM)から取得し、画面上は図のみ; 計測主体: Zapier(Opus 5.5 は Zapier の early access 評価、他は Zapier 公開リーダーボード); 図の effort ラベル「Low」を OpenAI API の reasoning effort の low に対応づけた出典の該当箇所AutomationBench — Accuracy vs Cost: "GPT-5.6 Sol · Low: 11.7% $0.42" |
公式の結果(Introducing Claude Fable 5.2 and Claude Mythos 5.2)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Gemini 4 Carbon | 記載なし | 53.9% | — | 記載なし | Introducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted. 他社モデル値(Anthropic 掲載)。出典の該当箇所53.9%所在 表 AutomationBench 行: 53.9 |
| 2 | Claude Fable 5.2 | 記載なし | 51.4% | — | Anthropic | Introducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted.出典の該当箇所51.4%所在 表 AutomationBench 行: 51.4 |
| 3 | Claude Opus 5.5 | 記載なし | 42.5% | — | Anthropic | Introducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted.出典の該当箇所42.5%所在 表 AutomationBench 行: 42.5 |
| 4 | GPT-6 Astra | 記載なし | 41.4% | — | 記載なし | Introducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted. 他社モデル値(Anthropic 掲載)。出典の該当箇所41.4%所在 表 AutomationBench 行: 41.4 |
| 5 | Claude Fable 5.1 | 記載なし | 31.4% | — | Anthropic | Introducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted.出典の該当箇所31.4%所在 表 AutomationBench 行: 31.4 |
公式の結果(Gemini 4 Carbon (Google DeepMind models page, benchmark table))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Gemini 4 Carbon | High | 53.9% | — | Zapier | Gemini 4 Carbon (Google DeepMind models page, benchmark table)2026-11-12 取得・ベンダー発表値。Google 公表表。methodology PDF: Gemini 4 Carbon/Argon は Gemini API の最高 thinking 設定・pass@1・単一試行。行ごとの出典は Zapier 公式リーダーボード(private set)出典の該当箇所AutomationBench: Gemini 4 Carbon 53.9 |
| 2 | Gemini 4 Argon | High | 51.3% | — | Zapier | Gemini 4 Carbon (Google DeepMind models page, benchmark table)2026-11-12 取得・ベンダー発表値。Google 公表表。methodology PDF: Gemini 4 Carbon/Argon は Gemini API の最高 thinking 設定・pass@1・単一試行。行ごとの出典は Zapier 公式リーダーボード(private set)出典の該当箇所AutomationBench: Gemini 4 Argon 51.3 |
公式の結果(Introducing Mistral Large 4)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Mistral Large 4 | 記載なし | 59.9% | — | Mistral AI | Introducing Mistral Large 42026-11-12 取得・ベンダー発表値。Mistral 自己申告(2026-10-06 プレビュー版時点。後の open weights 版は追加 RL で改善と別記事)出典の該当箇所AutomationBench: 59.9% |