SEC-bench Pro

脆弱性発見(PoC 作成)の pass@1。

分類: その他
単位: パーセント(%); 高いほど良い
比較グループ: 2グループ; すべてのモデルの順位(記録)・順位を付けた結果 3 件

すべてのモデルの順位(記録)

旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。

旧モデル・選べないモデルを含む順位を開く(3 件)

公式の結果(Gemini 4 Carbon (Google DeepMind models page, benchmark table))

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	Gemini 4 Carbon	High	88.2%	—	Google	Gemini 4 Carbon (Google DeepMind models page, benchmark table)2026-11-12 取得・ベンダー発表値。Google 公表表。methodology PDF: Gemini 4 Carbon/Argon は Gemini API の最高 thinking 設定・pass@1・単一試行。行ごとの出典は自己計測。183 タスク(2026-05 JS エンジン split)3試行平均 Pass@1、Antigravity ハーネス(Fairwind Program 経由) 出典の該当箇所 SEC-bench Pro: Gemini 4 Carbon 88.2
2	Gemini 4 Argon	High	83.4%	—	Google	Gemini 4 Carbon (Google DeepMind models page, benchmark table)2026-11-12 取得・ベンダー発表値。Google 公表表。methodology PDF: Gemini 4 Carbon/Argon は Gemini API の最高 thinking 設定・pass@1・単一試行。行ごとの出典は自己計測。183 タスク(2026-05 JS エンジン split)3試行平均 Pass@1、Antigravity ハーネス(Fairwind Program 経由) 出典の該当箇所 SEC-bench Pro: Gemini 4 Argon 83.4

公式の結果(DeepSeek-V4.1-Flash (Hugging Face model card, deepseek-ai))

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	DeepSeek-V4.1-Flash	記載なし	62.8%	—	DeepSeek	DeepSeek-V4.1-Flash (Hugging Face model card, deepseek-ai)2026-11-13 取得・ベンダー発表値(DeepSeek 自己申告)。カード「Instruct Model」: All instruct results below use the maximum effort setting (reasoning_effort=100)、temperature=1.0・top_p=0.95。reasoning_effort=100 は API の effort 名(low/high/max)との対応が公式に書かれていないため effort は null。Claude Code ハーネスで評価出典の該当箇所 SEC-Bench Pro (Pass@1) \| 62.8所在 HF モデルカード「Comparison with frontier models (Max reasoning effort)」の表、SEC-Bench Pro (Pass@1) 行・DS-V4.1-Flash 列(右端)