CharXiv Reasoning
論文の図表の推論(ツールなし)。
- 分類
- マルチモーダル
- 単位
- パーセント(%)
- 高いほど良い
- 比較グループ
- 5グループ
- すべてのモデルの順位(記録)・順位を付けた結果 8 件
すべてのモデルの順位(記録)
旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。
旧モデル・選べないモデルを含む順位を開く(8 件)
公式の結果(Gemini 3.8 Flash model card)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Gemini 3.8 Flash | 記載なし | 86.2% | — | Gemini 3.8 Flash model card2026-11-12 取得・ベンダー発表値。Google 自己申告(model card, 2026-09 時点)。thinking 設定の記載なし出典の該当箇所CharXiv Reasoning (no tools) | 86.2% |
公式の結果(Kimi K3.1 Pro (Hugging Face model card, moonshotai))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Kimi K3.1 Pro | Max | 89.0% | — | Moonshot AI | Kimi K3.1 Pro (Hugging Face model card, moonshotai)2026-11-13 取得・ベンダー発表値(Moonshot AI 自己申告)。表の列見出し Kimi K3.1 Pro (max)、表注: all Kimi K3.1 Pro results use reasoning effort max, temperature 1.0, top-p 0.95出典の該当箇所CharXiv (RQ) | 89.0所在 HF モデルカード「3. Evaluation Results」の表、CharXiv (RQ) 行・Kimi K3.1 Pro (max) 列(左端の数値列)。根拠の脚注: Reasoning 3(4 回平均) |
公式の結果(Kimi K3 (Hugging Face model card, moonshotai))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Kimi K3 | Max | 84.8% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)2026-11-13 取得・ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0出典の該当箇所CharXiv (RQ) | 84.8 / 91.3所在 HF モデルカード「3. Evaluation Results」の表、CharXiv (RQ)(ツールなし / ありの左) 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Multimodal(3 回平均) |
公式の結果(Gemini 3.7 Flash model card)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Gemini 3.6 Flash | 記載なし | 85.2% | — | Gemini 3.7 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.com/models/evals-methodology/gemini-3-7-flash): All of the results are run with the Gemini API ... with default sampling settings unless indicated otherwise。Gemini は自社計算・ツールなし出典の該当箇所CharXiv Reasoning Information synthesis from complex charts | No tools | 85.2%所在 Gemini 3.7 Flash model card の Evaluation 表、CharXiv Reasoning(No tools) 行・Gemini 3.6 Flash 列。自社計算の根拠は methodology PDF の Multimodal / CharXiv Reasoning | |
| 2 | Gemini 3.7 Flash | 記載なし | 84.5% | — | Gemini 3.7 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.com/models/evals-methodology/gemini-3-7-flash): All of the results are run with the Gemini API ... with default sampling settings unless indicated otherwise。Gemini は自社計算・ツールなし出典の該当箇所CharXiv Reasoning Information synthesis from complex charts | No tools | 84.5%所在 Gemini 3.7 Flash model card の Evaluation 表、CharXiv Reasoning(No tools) 行・Gemini 3.7 Flash 列。自社計算の根拠は methodology PDF の Multimodal / CharXiv Reasoning |
公式の結果(Gemini 3.5 Flash model card)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Gemini 3.5 Flash | 記載なし | 84.2% | — | Gemini 3.5 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.google/models/evals-methodology/gemini-3-5-flash): All of the results are all run with the Gemini API ... with default sampling settings unless indicated otherwise。Gemini は自社計算・ツールなし。thinking level の記載なし出典の該当箇所Multimodal | CharXiv Reasoning Information synthesis from complex charts | No tools | 84.2%所在 Gemini 3.5 Flash model card の Evaluation 表、CharXiv Reasoning(No tools) 行・Gemini 3.5 Flash 列。自社計算の根拠は methodology PDF の Image / CharXiv Reasoning | |
| 2 | Gemini 3.1 Pro Preview | 記載なし | 83.3% | — | Gemini 3.5 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.google/models/evals-methodology/gemini-3-5-flash): All of the results are all run with the Gemini API ... with default sampling settings unless indicated otherwise。Gemini は自社計算・ツールなし。列見出しは Gemini 3.1 Pro(Gemini API のモデル一覧で該当するのは gemini-3.1-pro-preview のみ)。thinking level の記載なし出典の該当箇所Multimodal | CharXiv Reasoning Information synthesis from complex charts | No tools | 83.3%所在 Gemini 3.5 Flash model card の Evaluation 表、CharXiv Reasoning(No tools) 行・Gemini 3.1 Pro 列。自社計算の根拠は methodology PDF の Image / CharXiv Reasoning | |
| 3 | Gemini 3 Flash Preview | 記載なし | 80.3% | — | Gemini 3.5 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.google/models/evals-methodology/gemini-3-5-flash): All of the results are all run with the Gemini API ... with default sampling settings unless indicated otherwise。Gemini は自社計算・ツールなし。列見出しは Gemini 3 Flash(Gemini API のモデル一覧で該当するのは gemini-3-flash-preview のみ)。thinking level の記載なし出典の該当箇所Multimodal | CharXiv Reasoning Information synthesis from complex charts | No tools | 80.3%所在 Gemini 3.5 Flash model card の Evaluation 表、CharXiv Reasoning(No tools) 行・Gemini 3 Flash 列。自社計算の根拠は methodology PDF の Image / CharXiv Reasoning |