SimpleQA Verified
短答の事実知識問題(検証済み版、Epoch AI が実行)。
- 分類
- 知識
- 単位
- パーセント(%)
- 高いほど良い
- 比較グループ
- 1グループ
- 今選べるモデルの順位・順位を付けた結果 8 件
- すべてのモデル(記録): 1 グループ・38 件
ランキング
出典区分(公式・第三者・論文)と測定条件が違う値は比べられないため、比較グループ(同じ出典か、同じ条件と確認できた出典の集まり)ごとに分けて順位を付けています。
今 Claude Code / Codex で選べるモデル(旧モデルを除く)だけで順位を付けています。
第三者の結果(Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.0)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Claude Fable 5.2 | Max | 94.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Fable 5.2 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=claude-fable-5-2_max, Best score (across scorers)=0.94, stderr=0.007513751157474972, Started at=2026-11-06T01:14:45.000Z |
| 2 | GPT-6 Astra | Max | 75.6% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6 Astra (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gpt-6-astra_max, Best score (across scorers)=0.756, stderr=0.013588548437881386, Started at=2026-08-30T14:57:43.000Z |
| 3 | GPT-6.1 Sol | Max | 73.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6.1 Sol (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gpt-6.1-sol_max, Best score (across scorers)=0.739, stderr=0.013895037677965185, Started at=2026-09-29T22:00:34.000Z |
| 4 | Claude Opus 5.5 | Max | 72.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 5.5 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=claude-opus-5-5_max, Best score (across scorers)=0.722, stderr=0.014174516461485273, Started at=2026-09-22T18:27:39.000Z |
| 5 | GPT-6.1 Terra | Max | 57.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6.1 Terra (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gpt-6.1-terra_max, Best score (across scorers)=0.573, stderr=0.01564978964446219, Started at=2026-10-26T20:00:37.000Z |
| 6 | Claude Sonnet 5.5 | Max | 46.5% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Sonnet 5.5 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=claude-sonnet-5-5_max, Best score (across scorers)=0.465, stderr=0.015780495050030086, Started at=2026-09-29T15:15:14.000Z |
| 7 | GPT-6 Luna | Max | 41.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6 Luna (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gpt-6-luna_max, Best score (across scorers)=0.414, stderr=0.015583544104177553, Started at=2026-09-22T22:14:05.000Z |
| 8 | Claude Haiku 5.5 | Max | 23.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Haiku 5.5 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=claude-haiku-5-5_max, Best score (across scorers)=0.238, stderr=0.013473586661967093, Started at=2026-10-09T14:36:06.000Z |
すべてのモデルの順位(記録)
旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。
旧モデル・選べないモデルを含む順位を開く(38 件)
第三者の結果(Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.0)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Claude Fable 5.2 | Max | 94.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Fable 5.2 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=claude-fable-5-2_max, Best score (across scorers)=0.94, stderr=0.007513751157474972, Started at=2026-11-06T01:14:45.000Z |
| 2 | Gemini 4 Carbon | High | 77.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 4 Carbon (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gemini-4-carbon_high, Best score (across scorers)=0.777, stderr=0.013169830843425608, Started at=2026-11-02T23:17:42.000Z |
| 3 | Gemini 4 Argon | High | 76.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 4 Argon (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gemini-4-argon_high, Best score (across scorers)=0.76, stderr=0.013512312258920845, Started at=2026-10-13T17:15:14.000Z |
| 4 | GPT-6 Astra | Max | 75.6% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6 Astra (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gpt-6-astra_max, Best score (across scorers)=0.756, stderr=0.013588548437881386, Started at=2026-08-30T14:57:43.000Z |
| 5 | GPT-6.1 Sol | Max | 73.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6.1 Sol (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gpt-6.1-sol_max, Best score (across scorers)=0.739, stderr=0.013895037677965185, Started at=2026-09-29T22:00:34.000Z |
| 6 | Gemini 3.1 Pro Preview | High | 73.5% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.1 Pro Preview"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gemini-3.1-pro-preview_high, Best score (across scorers)=0.735, stderr=0.013963164754810065, Started at=2026-08-10T21:35:39.000Z所在 simpleqa_verified.csv のデータ行 99 件目(ファイルの 149 行目)、id=VGeF8Xac4WcSAGgSXVdEBi、Model version=gemini-3.1-pro-preview_high |
| 7 | Claude Opus 5.5 | Max | 72.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 5.5 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=claude-opus-5-5_max, Best score (across scorers)=0.722, stderr=0.014174516461485273, Started at=2026-09-22T18:27:39.000Z |
| 8 | Claude Fable 5 | Xhigh | 70.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Fable 5 (xhigh)"。effort は Epoch の Model version 接尾辞 _xhigh。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=claude-fable-5_xhigh, Best score (across scorers)=0.707, stderr=0.014399942998441292, Started at=2026-08-10T23:44:03.000Z所在 simpleqa_verified.csv のデータ行 96 件目(ファイルの 146 行目)、id=SEnvgtunRa5GwAtU2sHa87、Model version=claude-fable-5_xhigh |
| 9 | Gemini 3.8 Flash | High | 69.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.8 Flash (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gemini-3.8-flash_high, Best score (across scorers)=0.697, stderr=0.014539683710535193, Started at=2026-09-02T17:15:36.000Z所在 simpleqa_verified.csv のデータ行 25 件目(ファイルの 49 行目)、id=gZ4bwozTKtpmZTqnqX3a33、Model version=gemini-3.8-flash_high |
| 9 | GPT-5.6 Sol | Max | 69.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Sol (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gpt-5.6-sol_max, Best score (across scorers)=0.697, stderr=0.014539683710535193, Started at=2026-08-10T23:44:30.000Z所在 simpleqa_verified.csv のデータ行 92 件目(ファイルの 142 行目)、id=UnRUSuZzm2X27TUbpeMPva、Model version=gpt-5.6-sol_max |
| 11 | Gemini 3.7 Flash | High | 69.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.7 Flash (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gemini-3.7-flash_high, Best score (across scorers)=0.692, stderr=0.01460648312734278, Started at=2026-08-27T19:30:25.000Z所在 simpleqa_verified.csv のデータ行 58 件目(ファイルの 103 行目)、id=84ARuGyhQsjgh8umRmBvas、Model version=gemini-3.7-flash_high |
| 12 | Gemini 3 Flash Preview | High | 66.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3 Flash Preview"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gemini-3-flash-preview_high, Best score (across scorers)=0.668, stderr=0.014899597242811567, Started at=2026-08-27T19:30:06.000Z所在 simpleqa_verified.csv のデータ行 63 件目(ファイルの 110 行目)、id=7cc6cDCXjsPjtKt36bbeMR、Model version=gemini-3-flash-preview_high |
| 13 | Gemini 3.6 Flash | High | 66.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.6 Flash"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gemini-3.6-flash_high, Best score (across scorers)=0.662, stderr=0.014965960710224383, Started at=2026-08-27T19:30:09.000Z所在 simpleqa_verified.csv のデータ行 61 件目(ファイルの 108 行目)、id=F83pa7Gfsb4UNVttTnS5Hk、Model version=gemini-3.6-flash_high |
| 14 | GPT-5.5 | Xhigh | 63.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.5 (xhigh)"。effort は Epoch の Model version 接尾辞 _xhigh。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gpt-5.5_xhigh, Best score (across scorers)=0.63, stderr=0.015275252316519465, Started at=2026-08-27T19:28:25.000Z所在 simpleqa_verified.csv のデータ行 78 件目(ファイルの 127 行目)、id=TijCafTTJUFrJ6jPGvBbgq、Model version=gpt-5.5_xhigh |
| 15 | Kimi K3.1 Pro | Max | 62.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3.1 Pro (Together, max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。; Epoch は Together の推論 API 経由で実行(Model version kimi-k3.1-pro-together)出典の該当箇所simpleqa_verified.csv: Model version=kimi-k3.1-pro-together_max, Best score (across scorers)=0.622, stderr=0.015341165254026547, Started at=2026-11-06T00:59:23.000Z所在 simpleqa_verified.csv のデータ行 2 件目(ファイルの 3 行目)、id=HumfsXVh5BZWuTo6Z8Gqnf、Model version=kimi-k3.1-pro-together_max |
| 16 | GPT-6 Sol | Max | 60.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6 Sol (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gpt-6-sol_max, Best score (across scorers)=0.607, stderr=0.015452824654081525, Started at=2026-09-22T19:59:24.000Z所在 simpleqa_verified.csv のデータ行 22 件目(ファイルの 46 行目)、id=donMeEKBZZdqpQsojKWJEm、Model version=gpt-6-sol_max |
| 17 | GPT-6.1 Terra | Max | 57.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6.1 Terra (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gpt-6.1-terra_max, Best score (across scorers)=0.573, stderr=0.01564978964446219, Started at=2026-10-26T20:00:37.000Z |
| 18 | Grok 4.7 | Xhigh | 56.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Grok 4.7 (xhigh)"。effort は Epoch の Model version 接尾辞 _xhigh。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=grok-4.7_xhigh, Best score (across scorers)=0.56, stderr=0.015704987954361718, Started at=2026-09-22T21:49:22.000Z所在 simpleqa_verified.csv のデータ行 21 件目(ファイルの 45 行目)、id=6izDCw5ygCLZJEKPS8jV5T、Model version=grok-4.7_xhigh |
| 19 | Claude Opus 4.8 | Max | 53.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 4.8"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=claude-opus-4-8_max, Best score (across scorers)=0.53, stderr=0.015790799515836722, Started at=2026-08-27T19:27:24.000Z所在 simpleqa_verified.csv のデータ行 91 件目(ファイルの 141 行目)、id=ViC6pxQZUVS3E9M9iEubF7、Model version=claude-opus-4-8_max |
| 20 | DeepSeek-V4-Pro-0813 | Max | 52.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "DeepSeek V4 Pro 0813 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=deepseek-v4-pro-0813_max, Best score (across scorers)=0.5290581162324649, stderr=0.015808394665706597, Started at=2026-08-27T19:30:20.000Z所在 simpleqa_verified.csv のデータ行 59 件目(ファイルの 104 行目)、id=2xfFf6KZAp2gUWYhHGkFgs、Model version=deepseek-v4-pro-0813_max |
| 21 | Claude Opus 4.7 | Xhigh | 51.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 4.7 (xhigh)"。effort は Epoch の Model version 接尾辞 _xhigh。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=claude-opus-4-7_xhigh, Best score (across scorers)=0.517, stderr=0.015810153729833274, Started at=2026-08-27T19:27:26.000Z所在 simpleqa_verified.csv のデータ行 90 件目(ファイルの 140 行目)、id=2c4rvmf5N7QXTugrFLMZ83、Model version=claude-opus-4-7_xhigh |
| 22 | Kimi K3 | Max | 50.6% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=kimi-k3_max, Best score (across scorers)=0.506, stderr=0.015818160898606836, Started at=2026-08-27T19:36:12.000Z所在 simpleqa_verified.csv のデータ行 44 件目(ファイルの 73〜75 行目。複数行のレコード)、id=mZLWt2JSYvJyGhMvji7CT8、Model version=kimi-k3_max |
| 23 | Grok 4.6 | High | 49.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Grok 4.6 (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=grok-4.6_high, Best score (across scorers)=0.493, stderr=0.01581774956184353, Started at=2026-08-27T19:29:53.000Z所在 simpleqa_verified.csv のデータ行 64 件目(ファイルの 111 行目)、id=TpHYtuPG6kYZFvMK7Z6Hqj、Model version=grok-4.6_high |
| 24 | Grok 4.6 | Xhigh | 48.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Grok 4.6 (xhigh)"。effort は Epoch の Model version 接尾辞 _xhigh。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=grok-4.6_xhigh, Best score (across scorers)=0.489, stderr=0.015815471195292575, Started at=2026-08-27T19:29:19.000Z所在 simpleqa_verified.csv のデータ行 68 件目(ファイルの 115 行目)、id=dKCWFaoGCWJTnD5CPWQGru、Model version=grok-4.6_xhigh |
| 25 | Claude Opus 4.6 | Max | 47.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 4.6 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=claude-opus-4-6_max, Best score (across scorers)=0.47, stderr=0.015790799515836722, Started at=2026-08-27T19:27:45.000Z所在 simpleqa_verified.csv のデータ行 87 件目(ファイルの 137 行目)、id=85fhMxLaebWtLoi6oLpTbi、Model version=claude-opus-4-6_max |
| 26 | Claude Sonnet 5.5 | Max | 46.5% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Sonnet 5.5 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=claude-sonnet-5-5_max, Best score (across scorers)=0.465, stderr=0.015780495050030086, Started at=2026-09-29T15:15:14.000Z |
| 27 | Qwen3.8-Max | Xhigh | 45.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Qwen3.8 Max (xhigh)"。effort は Epoch の Model version 接尾辞 _xhigh。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=qwen3.8-max_xhigh, Best score (across scorers)=0.458, stderr=0.015763390640483554, Started at=2026-08-27T19:30:55.000Z所在 simpleqa_verified.csv のデータ行 55 件目(ファイルの 100 行目)、id=bfftd5EzUK9yAekafEofvK、Model version=qwen3.8-max_xhigh |
| 28 | GPT-5.6 Terra | Max | 43.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Terra (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gpt-5.6-terra_max, Best score (across scorers)=0.432, stderr=0.015672320237336324, Started at=2026-08-10T23:44:21.000Z所在 simpleqa_verified.csv のデータ行 93 件目(ファイルの 143 行目)、id=DienatPbgfgn3EzM7Gvzxr、Model version=gpt-5.6-terra_max |
| 29 | DeepSeek-V4.1-Flash | 記載なし | 42.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "DeepSeek V4.1 Flash (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。; 出典の effort 表記「max」は公式の effort 一覧を取得できていないため effort なし出典の該当箇所simpleqa_verified.csv: Model version=deepseek-v4.1-flash_max, Best score (across scorers)=0.429, stderr=0.015658997547870177, Started at=2026-10-13T12:59:33.000Z所在 simpleqa_verified.csv のデータ行 15 件目(ファイルの 27〜28 行目。複数行のレコード)、id=3JJ4ChNxMo8CGAh3HrKNrw、Model version=deepseek-v4.1-flash_max |
| 30 | DeepSeek-V4.1-Flash-1017 | Max | 42.5% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "DeepSeek V4.1 Flash 1017 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=deepseek-v4.1-flash-1017_max, Best score (across scorers)=0.425, stderr=0.01564032031704017, Started at=2026-10-19T22:38:54.000Z所在 simpleqa_verified.csv のデータ行 12 件目(ファイルの 24 行目)、id=Ei4XWaCH5drYUnDRo2MYCW、Model version=deepseek-v4.1-flash-1017_max |
| 31 | GPT-6 Luna | Max | 41.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6 Luna (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gpt-6-luna_max, Best score (across scorers)=0.414, stderr=0.015583544104177553, Started at=2026-09-22T22:14:05.000Z |
| 32 | GLM-5.3 | Max | 41.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GLM-5.3 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=glm-5.3_max, Best score (across scorers)=0.41, stderr=0.015560917136921659, Started at=2026-08-28T17:00:06.000Z所在 simpleqa_verified.csv のデータ行 37 件目(ファイルの 66 行目)、id=TY8R8FV7zCwByEipkqyg2P、Model version=glm-5.3_max |
| 32 | GPT-5.6 Luna | Max | 41.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Luna (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=gpt-5.6-luna_max, Best score (across scorers)=0.41, stderr=0.015560917136921657, Started at=2026-08-10T23:44:20.000Z所在 simpleqa_verified.csv のデータ行 94 件目(ファイルの 144 行目)、id=CeDghdBk8CqtiFSbUzxNH5、Model version=gpt-5.6-luna_max |
| 34 | Claude Sonnet 4.6 | High | 35.5% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Sonnet 4.6 (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=claude-sonnet-4-6_high, Best score (across scorers)=0.355, stderr=0.015139491543780595, Started at=2026-08-10T22:42:23.000Z所在 simpleqa_verified.csv のデータ行 97 件目(ファイルの 147 行目)、id=LJyKf8Xy4dymxNHbGLwNdA、Model version=claude-sonnet-4-6_high |
| 35 | Claude Sonnet 4.6 | Max | 32.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Sonnet 4.6 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=claude-sonnet-4-6_max, Best score (across scorers)=0.328, stderr=0.014853842487270312, Started at=2026-08-27T19:27:37.000Z所在 simpleqa_verified.csv のデータ行 89 件目(ファイルの 139 行目)、id=Zs5fCvNzaz8LhqgwDSAztU、Model version=claude-sonnet-4-6_max |
| 36 | Claude Haiku 5.5 | Max | 23.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Haiku 5.5 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所simpleqa_verified.csv: Model version=claude-haiku-5-5_max, Best score (across scorers)=0.238, stderr=0.013473586661967093, Started at=2026-10-09T14:36:06.000Z |
| 37 | Claude Sonnet 4.5 | 記載なし | 23.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Sonnet 4.5 (no thinking)"。Model version に effort の接尾辞なし。データ取得 2026-11-12。; 出典に effort の記載が無いため effort なし出典の該当箇所simpleqa_verified.csv: Model version=claude-sonnet-4-5-20250929, Best score (across scorers)=0.237, stderr=0.013454070462577935, Started at=2026-08-10T22:42:10.000Z所在 simpleqa_verified.csv のデータ行 98 件目(ファイルの 148 行目)、id=MhqeuRVx4JcRfxPQDYPq7Z、Model version=claude-sonnet-4-5-20250929 |
| 38 | Mistral Large 4 | High | 20.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Mistral Large 4 Preview (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。; Epoch の表記は Mistral Large 4 Preview(2026-10-06 版。2026-10-29 の Mistral Large 4 は別の Model version mistral-large-4-0-oss で、ここには入れていない)出典の該当箇所simpleqa_verified.csv: Model version=mistral-large-4-0_high, Best score (across scorers)=0.2, stderr=0.012655439943366657, Started at=2026-10-09T14:12:09.000Z所在 simpleqa_verified.csv のデータ行 17 件目(ファイルの 30〜41 行目。複数行のレコード)、id=hvNNKdnzLvr9X8zVxWKcfk、Model version=mistral-large-4-0_high |