CyScenarioBench

サイバーセキュリティのシナリオ評価(ラボごとに固有タスク)。

分類
その他
単位
パーセント(%)
高いほど良い
比較グループ
1グループ
今選べるモデルの順位・順位を付けた結果 1 件
すべてのモデル(記録): 1 グループ・3 件

ランキング

出典区分(公式・第三者・論文)と測定条件が違う値は比べられないため、比較グループ(同じ出典か、同じ条件と確認できた出典の集まり)ごとに分けて順位を付けています。

今 Claude Code / Codex で選べるモデル(旧モデルを除く)だけで順位を付けています。

公式の結果(Introducing Claude Fable 5.2 and Claude Mythos 5.2)

順位モデルeffortスコア出典のコスト(指標)計測・報告出典
1Claude Opus 5.5記載なし67.6%—AnthropicIntroducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted. Opus 5.5 は safeguards なし。
出典の該当箇所67.6%所在 表 CyScenarioBench 行: 67.6% without safeguards

すべてのモデルの順位(記録)

旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。

旧モデル・選べないモデルを含む順位を開く(3 件)

公式の結果(Introducing Claude Fable 5.2 and Claude Mythos 5.2)

順位モデルeffortスコア出典のコスト(指標)計測・報告出典
1Claude Mythos 5.2記載なし76.3%—AnthropicIntroducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted.
出典の該当箇所76.3%所在 表 CyScenarioBench 行: 76.3% Mythos 5.2
2Claude Opus 5.5記載なし67.6%—AnthropicIntroducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted. Opus 5.5 は safeguards なし。
出典の該当箇所67.6%所在 表 CyScenarioBench 行: 67.6% without safeguards
3Claude Mythos 5.1記載なし61.7%—AnthropicIntroducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted.
出典の該当箇所61.7%所在 表 CyScenarioBench 行: 61.7% Mythos 5.1