このサイトについて

データの集め方

• モデル名・effort の種類・価格・スコアは、すべて出典のページから取得日付きで転記します。記憶や推測では埋めません。
• 1 つの値ごとに、出典 URL・出典区分(公式・第三者・論文)・取得日・出典の該当箇所・測定条件を記録しています。
• 表の「出典の該当箇所」は、出典の該当部分を訳さずに原文の言語のまま載せたものです。原文の抜き出しだけでなく、表・CSV・図のラベルを整形したものを含みます(逐語の引用とは限らないので引用符は付けていません)。「所在」は、出典のどこにある値かを記した当サイトのメモです。
• 出典に無い値は空欄のままにし、補間しません。
• 出典のグラフから読み取った値は近似値として区別して表示します(図では白抜きの点、表では ≈)。
• 引用する前に各サイトの掲載ライセンス・規約を確認し、出典に記録しています。

コストの軸

• API の単価(入力・出力・キャッシュ)はモデルごとに決まり、effort では変わりません。effort で変わるのは消費するトークン数です。
• そのため図の横軸には、出典が報告したコスト(1 タスクあたり・1 試行あたり・見積もり値など。指標名は図と表に出します)を使います。単価表から計算した値は混ぜません。
• 出典のコストの無い点は対数軸に描けないため、件数だけを示します。「effort 順」の横軸ならすべての点を表示できます。

比べるときの注意

• 公式発表・第三者の計測・論文では、ハーネスや設定などの測定条件が違います。図・ランキング・表の並べ替えでは、出典区分と測定条件が同じ値(同じ出典か、条件が同じと確認できた出典)だけを比べています。
• 同じベンチマークでも、版や設定が違えばスコアは変わります。各値の測定条件は、モデルとベンチマークのページで確認できます。
• 複数の出典(ページ)が同じ図を載せていて、条件と値が一致すると確認できたものは 1 つの比較グループに束ねています。束ねたグループに入れた点と同じ値を別のページも載せているときは、同じ値を二重に数えないよう、その行を比較(グラフの比較グループ・順位・総合・役割別の推奨)から外し、モデルとベンチマークのページと図のデータ点の表に「証跡(○○の比較グループと同値)」として残しています。
• ベンチマークの順位は、実際の作業での使いやすさを保証するものではありません。
• 「Claude Code / Codex で選べるモデルのみ」は、各ツールの公式資料で選べると確認できたモデルだけを表示します。確認できていないモデルは表示しません。

ランキングと役割別の推奨の方法

• 順位を付けるモデル: ランキング・ホームの総合ランキング・各指標のページの順位は、今 Claude Code / Codex で選べるモデル(各ツールの公式資料で選べると確認でき、旧モデルでないもの)だけで付けます。旧モデルと Claude Code / Codex で選べないモデルを含めた順位は、記録としてすべてのモデルのランキングと各指標のページの「すべてのモデルの順位(記録)」に残しています。全モデルで順位を付けてから一部を隠すと、隠れたモデルが百分位や前線を動かすため、表示するモデルだけで順位・百分位・前線を付け直しています。そのため 2 つの順位は違うことがあります。
• 指標別: 比較グループ(同じ出典か、同じ測定条件と確認できた出典の集まり)ごとに順位を付けます。
• 総合(性能優先): 出典区分ごとに、比較グループの集合のすべてに値のある model × effort 同士だけで集計します。各グループの中で、集計に入るものだけに順位を付けて百分位(1 位 = 100、最下位 = 0)にし、同じベンチマークのグループどうしで平均してベンチマークごとの値にしてから、ベンチマーク間で平均して並べます。同じベンチマークに比較グループが 2 つ(例: 標準と best-of-16)あっても、そのベンチマークを 2 倍に数えないためです。モデル 3 つ以上・ベンチマーク 3 つ以上(同じベンチマークの複数のグループは 1 と数えます)を条件にし、カバレッジ(集計に使ったベンチマーク数と、各行の値のあるベンチマーク数 / 同じ出典区分で値のあるベンチマーク数)を必ず示します。モデルとベンチマークの数の条件は、順位を付けるモデルの中で数えます。集計はモデル数 → ベンチマーク数 → 件数の多い順に並べ、今 Claude Code / Codex で選べるモデルを最も多く含む集計(同数なら並びの先)を先頭で開きます。今選べるモデルだけのランキングでは、モデル数の最も多い集計になります。ホームには先頭の集計の 8 位までを出し、8 位と同点のものは切らずにすべて出します。
• 値そのもの(min-max の正規化)ではなく順位の百分位を使うのは、% や Elo といった単位の違いや外れ値に左右されず、集計に入らないモデル(このサイトが掲載するモデルの選び方)にも左右されないようにするためです。そのぶん差の大きさは捨てており、僅差でも大差でも 1 つの順位差として数えます。集計に入るモデルの顔ぶれが変われば数値も変わり、件数が少ない集計ほど粗くなります。集計どうしは対象のグループが違うので、数値を比べないでください。
• コストバランス: 出典のコストはベンチマークごとに意味が違うため、ベンチマークをまたいで合算せず、独自の係数も作りません。比較グループの中で、同じかそれより安いコストでより良いスコアの点が無い点(パレート前線)と、同じモデルで値のある隣どうしの effort の間のスコアの差とコストの倍率を示します。
• 役割別の推奨: 役割と、役割ごとに重視するベンチマークのカテゴリは、このサイトの編集判断です。各ツール(Claude Code / Codex)で選べると確認できたモデルだけを対象に、カテゴリに当たる比較グループごとの 1 位と前線上の候補を示します。値が 1 件だけの比較グループは比べる相手が無いので、1 位とは呼ばず「比較相手なし」として値だけを示します。値が複数あっても同じモデルの effort 違いだけの比較グループはモデルどうしの比較にならないので、1 位と前線は出さず「同じモデルの effort 比較のみ」として、effort 別の値と effort を上げたときの差分を参考として示します。異なるモデルの多い比較グループから並べます。該当する結果が無い役割は「データなし」とし、推測では埋めません。
• 役割別の要約: 役割 × ツールごとに、そのツールで選べる現行モデルについて次の件数を数えます。係数や単一の「おすすめ」は作りません。
  • 分母 N: その役割のカテゴリで、異なるモデルが 2 つ以上ある比較グループのうち、そのモデルの値があるものの数。必ず表示します。旧モデルは行には出しませんが、比較グループの中では比べる相手に数えます(下のグループ別の詳細と同じ)。
  • 最高スコア a: N のうち、そのモデルのいずれかの effort が最高スコア(同点を含む)だった数。
  • 伸びが止まる effort k: N のうち、同じモデルの値のある 1 つ下の effort より出典のコストが高いのに、スコアが上がらなかった(低いほど良い指標では下がらなかった) effort があった数と、その effort の内訳。両方に出典のコストがある effort の組が無いグループは判定できないので、判定できた件数を添えます。
  • パレート前線に乗った回数は数えません。ほとんどの点が前線に乗り、モデルの違いを示さないためです。
  • 比べられる比較グループが少ない(各モデル最大 3 件未満)ときは、件数の少なさを注記します。
• 計測・報告: 値を計測した主体、または値を報告した主体です。ベンダーが自社モデルの結果を発表しているものには発表元を入れるため、発表元が自分で計測したとは限りません。公式発表でも、他社のモデルの値を発表元が計測していることや、他社の報告値を載せていることがあります。出典に記載があればそれを示し、無ければ「記載なし」とします。出典区分やプロバイダから推定はしません。

会社名・製品名の表記

記載の会社名・製品名は各社の商標または登録商標です。本サイトは各社と提携しておらず、各社の推奨を受けたものではありません。 会社名・製品名は文字だけで示し、各社のロゴや、ロゴに似せた記号は使いません。グラフの色は各社のブランドの色に合わせていません。

運営

マージナルゲイン株式会社が運営しています。 このサイトは外部のスクリプト・フォント・トラッカーを読み込みません。