Kimi K3
- 入力の単価
- —
- 100 万トークンあたり(USD)
- 出力の単価
- —
- 100 万トークンあたり(USD)
- effort の段階
- 3段階
- 既定は Max
- ベンチマーク結果
- 32件
- 26 種類のベンチマーク
モデルの情報
- API のモデル ID
- kimi-k3
- 公開日
- 不明
- effort
- Low / High / Max(既定)
- effort の根拠
- Kimi K3 の HF モデルカード(moonshotai/Kimi-K3)による: "Thinking effort is configured with the top-level reasoning_effort request field, which supports "low", "high", and "max" (default "max")."。公開日は公式の記載を確認できていない。
- Claude Code
- 選べない
- Codex
- 選べない
- 提供状況の補足
- Claude Code の公式のモデル一覧(code.claude.com/docs/en/model-config の alias 表、2026-11-13 取得。原文: "Use a model alias to select model settings without remembering exact version numbers" の表は fable・sonnet・opus・haiku など Anthropic のモデルだけ)と、Codex の公式のモデル一覧(learn.chatgpt.com/docs/models、2026-11-13 取得。原文: "Recommended models" は GPT-6 系だけ)に無いので、両方 false(カスタムプロバイダやゲートウェイ経由の接続は公式の選択肢に数えない)。
- 提供状況の出典
- https://code.claude.com/docs/en/model-config
単価(100 万トークンあたり・USD)
単価は effort では変わりません。effort で変わるのは消費トークン数です。
| 入力 | — |
|---|---|
| 出力 | — |
| キャッシュ読み出し | — |
| キャッシュ書き込み | — |
未取得。
ベンチマーク結果
| ベンチマーク | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 | 条件・取得方法 |
|---|---|---|---|---|---|---|
| Terminal-Bench 2.1Max(既定) | Max | 88.3% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)公式・2026-11-13 取得 | ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0。Kimi Code ハーネス表から転記出典の該当箇所Terminal-Bench 2.1 | 88.3所在 HF モデルカード「3. Evaluation Results」の表、Terminal-Bench 2.1 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Coding / Terminal-Bench 2.1 |
| DeepSWE v1.1Max(既定) | Max | 67.5% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)公式・2026-11-13 取得 | ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0。Kimi Code ハーネス・DeepSWE v1.1 のタスク(mini-SWE-agent では 67.3 と別記)表から転記出典の該当箇所DeepSWE | 67.5所在 HF モデルカード「3. Evaluation Results」の表、DeepSWE 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Coding / DeepSWE |
| PostTrainBenchMax(既定) | Max | 36.6% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)公式・2026-11-13 取得 | ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0。公式 Harbor 実装・最大 effort・H100 ではなく H20 GPU で 3 回平均・Claude Code ハーネス表から転記出典の該当箇所PostTrainBench | 36.6所在 HF モデルカード「3. Evaluation Results」の表、PostTrainBench 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Coding / PostTrainBench |
| CharXiv ReasoningMax(既定) | Max | 84.8% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)公式・2026-11-13 取得 | ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0表から転記出典の該当箇所CharXiv (RQ) | 84.8 / 91.3所在 HF モデルカード「3. Evaluation Results」の表、CharXiv (RQ)(ツールなし / ありの左) 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Multimodal(3 回平均) |
| GPQA DiamondLow | Low | 84.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.0第三者・2026-11-12 取得 | Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (low)"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。表から転記出典の該当箇所gpqa_diamond.csv: Model version=kimi-k3_low, Best score (across scorers)=0.8484848484848485, stderr=0.025545650426603637, Started at=2026-08-07T00:54:16.000Z所在 gpqa_diamond.csv のデータ行 85 件目(ファイルの 138〜140 行目。複数行のレコード)、id=mvNb3hNgSZ2gS6jHMtvCdk、Model version=kimi-k3_low |
| GPQA DiamondHigh | High | 91.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.0第三者・2026-11-12 取得 | Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。表から転記出典の該当箇所gpqa_diamond.csv: Model version=kimi-k3_high, Best score (across scorers)=0.9191919191919192, stderr=0.019417681889724515, Started at=2026-08-07T00:53:51.000Z所在 gpqa_diamond.csv のデータ行 86 件目(ファイルの 141〜143 行目。複数行のレコード)、id=AoAD5uVtgVDnXmwA7STuno、Model version=kimi-k3_high |
| GPQA DiamondMax(既定) | Max | 93.1% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.0第三者・2026-11-12 取得 | Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。表から転記出典の該当箇所gpqa_diamond.csv: Model version=kimi-k3_max, Best score (across scorers)=0.9311868686868687, stderr=0.014937225364194858, Started at=2026-07-16T21:59:40.000Z所在 gpqa_diamond.csv のデータ行 153 件目(ファイルの 217〜219 行目。複数行のレコード)、id=B8MaPUe3EYwUZASsNqE7C9、Model version=kimi-k3_max |
| FrontierMath Tiers 1-3(v2)Max(既定) | Max | 72.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, frontiermath_tiers_1_3_v2.csv) CC BY 4.0第三者・2026-11-12 取得 | Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。表から転記出典の該当箇所frontiermath_tiers_1_3_v2.csv: Model version=kimi-k3_max, Best score (across scorers)=0.721830985915493, stderr=0.026636607935112643, Started at=2026-07-17T01:48:42.000Z所在 frontiermath_tiers_1_3_v2.csv のデータ行 88 件目(ファイルの 116〜118 行目。複数行のレコード)、id=bcntamvGsSH6QgETdoaSph、Model version=kimi-k3_max |
| FrontierMath Tier 4(v2)Max(既定) | Max | 39.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, frontiermath_tier_4_v2.csv) CC BY 4.0第三者・2026-11-12 取得 | Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。表から転記出典の該当箇所frontiermath_tier_4_v2.csv: Model version=kimi-k3_max, Best score (across scorers)=0.3902439024390244, stderr=0.07712872341874095, Started at=2026-07-17T01:48:42.000Z所在 frontiermath_tier_4_v2.csv のデータ行 42 件目(ファイルの 77〜79 行目。複数行のレコード)、id=gZERSAQwxBAevQzBsWfUie、Model version=kimi-k3_max |
| OTIS Mock AIME 2024-2025Low | Low | 68.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.0第三者・2026-11-12 取得 | Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (low)"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。表から転記出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=kimi-k3_low, Best score (across scorers)=0.6888888888888889, stderr=0.06979205927323111, Started at=2026-08-07T00:46:06.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 93 件目(ファイルの 153〜155 行目。複数行のレコード)、id=frszScNxpHXXjSHawCt9Zb、Model version=kimi-k3_low |
| OTIS Mock AIME 2024-2025High | High | 93.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.0第三者・2026-11-12 取得 | Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。表から転記出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=kimi-k3_high, Best score (across scorers)=0.9333333333333333, stderr=0.03760507165451775, Started at=2026-08-07T00:46:05.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 94 件目(ファイルの 156〜158 行目。複数行のレコード)、id=4E5xGsuRMwMBhAfC4F2G4N、Model version=kimi-k3_high |
| OTIS Mock AIME 2024-2025Max(既定) | Max | 97.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.0第三者・2026-11-12 取得 | Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。表から転記出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=kimi-k3_max, Best score (across scorers)=0.9722222222222222, stderr=0.011158359139033182, Started at=2026-07-16T21:59:40.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 159 件目(ファイルの 228〜230 行目。複数行のレコード)、id=A33om9MTYMC7xYeLv9X7Ha、Model version=kimi-k3_max |
| SimpleQA VerifiedMax(既定) | Max | 50.6% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, simpleqa_verified.csv) CC BY 4.0第三者・2026-11-12 取得 | Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。表から転記出典の該当箇所simpleqa_verified.csv: Model version=kimi-k3_max, Best score (across scorers)=0.506, stderr=0.015818160898606836, Started at=2026-08-27T19:36:12.000Z所在 simpleqa_verified.csv のデータ行 44 件目(ファイルの 73〜75 行目。複数行のレコード)、id=mZLWt2JSYvJyGhMvji7CT8、Model version=kimi-k3_max |
| Chess Puzzles(Epoch AI)Low | Low | 18.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, chess_puzzles.csv) CC BY 4.0第三者・2026-11-12 取得 | Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (low)"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。表から転記出典の該当箇所chess_puzzles.csv: Model version=kimi-k3_low, Best score (across scorers)=0.18, stderr=0.03861229196653691, Started at=2026-10-13T17:06:54.000Z所在 chess_puzzles.csv のデータ行 32 件目(ファイルの 66〜68 行目。複数行のレコード)、id=VPSX7EnwWuBrCPnpYGMUEM、Model version=kimi-k3_low |
| Chess Puzzles(Epoch AI)High | High | 37.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, chess_puzzles.csv) CC BY 4.0第三者・2026-11-12 取得 | Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。表から転記出典の該当箇所chess_puzzles.csv: Model version=kimi-k3_high, Best score (across scorers)=0.37, stderr=0.048523658709390974, Started at=2026-10-13T17:10:13.000Z所在 chess_puzzles.csv のデータ行 31 件目(ファイルの 63〜65 行目。複数行のレコード)、id=X2QNPHFXuWosA6AiuvVtDv、Model version=kimi-k3_high |
| Chess Puzzles(Epoch AI)Max(既定) | Max | 36.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, chess_puzzles.csv) CC BY 4.0第三者・2026-11-12 取得 | Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。表から転記出典の該当箇所chess_puzzles.csv: Model version=kimi-k3_max, Best score (across scorers)=0.36, stderr=0.048241815132442176, Started at=2026-10-13T17:13:35.000Z所在 chess_puzzles.csv のデータ行 30 件目(ファイルの 60〜62 行目。複数行のレコード)、id=nzQV9YvictnDF2EwxqTJQs、Model version=kimi-k3_max |
| MirrorCodeMax(既定) | Max | 54.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, mirrorcode.csv) CC BY 4.0第三者・2026-11-12 取得 | Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。表から転記出典の該当箇所mirrorcode.csv: Model version=kimi-k3_max, Best score (across scorers)=0.5444444444444444, stderr=0.11439589045541113, Started at=2026-09-03T21:02:17.000Z所在 mirrorcode.csv のデータ行 37 件目(ファイルの 55〜57 行目。複数行のレコード)、id=beEmcaWF8wxsWTLD5bMYxi、Model version=kimi-k3_max |
| Epoch Capabilities Index(ECI)記載なし | 記載なし | 158.58 | — | Epoch AI | Epoch AI, epoch_capabilities_index/eci_scores.csv (CC BY 4.0)第三者・2026-11-12 取得 | 複数ベンチマーク・複数 effort の結果を統合したモデル単位の指標(effort 別ではない)。Epoch AI 算出。表から転記出典の該当箇所eci_scores.csv: Model=Kimi K3, eci=158.58, eci_ci_low=156.6, eci_ci_high=160.8所在 epoch_capabilities_index/eci_scores.csv のデータ行 24 件目(ファイルの 25 行目)、Model=Kimi K3 |
| SWE-Marathon(版の記載なし)Max(既定) | Max | 42.0% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)公式・2026-11-13 取得 | ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0。Claude Code ハーネス。v1.1 の最終版より前の、H20 向けに調整した公式タスクの branch(2026-07-09 時点)で評価表から転記出典の該当箇所SWE-Marathon | 42.0所在 HF モデルカード「3. Evaluation Results」の表、SWE-Marathon 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Coding / SWE-Marathon |
| MLS-Bench-LiteMax(既定) | Max | 48.3% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)公式・2026-11-13 取得 | ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0。Kimi Code ハーネス表から転記出典の該当箇所MLS-Bench-Lite | 48.3所在 HF モデルカード「3. Evaluation Results」の表、MLS-Bench-Lite 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Coding / MLS-Bench-Lite |
| AutomationBench(公開 600 タスク)Max(既定) | Max | 30.8% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)公式・2026-11-13 取得 | ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0。公開 600 タスクのサブセット・公式 GitHub の設定表から転記出典の該当箇所AutomationBench | 30.8所在 HF モデルカード「3. Evaluation Results」の表、AutomationBench 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Agentic / AutomationBench |
| BrowseCompMax(既定) | Max | 91.2% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)公式・2026-11-13 取得 | ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0。300K トークンで文脈圧縮(文脈管理なし・1M では 90.4 と別記)表から転記出典の該当箇所BrowseComp | 91.2所在 HF モデルカード「3. Evaluation Results」の表、BrowseComp 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Agentic / BrowseComp |
| MCP AtlasMax(既定) | Max | 84.2% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)公式・2026-11-13 取得 | ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0。公開 500 タスクのサブセット・100 ターン上限・採点は Gemini 3.1 Pro表から転記出典の該当箇所MCP-Atlas | 84.2所在 HF モデルカード「3. Evaluation Results」の表、MCP-Atlas 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Agentic / MCP-Atlas |
| CharXiv Reasoning(ツールあり)Max(既定) | Max | 91.3% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)公式・2026-11-13 取得 | ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0表から転記出典の該当箇所CharXiv (RQ) | 84.8 / 91.3所在 HF モデルカード「3. Evaluation Results」の表、CharXiv (RQ)(ツールなし / ありの右) 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: 表注(ビジョン系のツールは Python) |
| MMMU-ProMax(既定) | Max | 81.6% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)公式・2026-11-13 取得 | ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0表から転記出典の該当箇所MMMU-Pro | 81.6 / 83.4所在 HF モデルカード「3. Evaluation Results」の表、MMMU-Pro(ツールなし / ありの左) 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Multimodal(3 回平均・公式プロトコル) |
| MMMU-Pro(ツールあり)Max(既定) | Max | 83.4% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)公式・2026-11-13 取得 | ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0表から転記出典の該当箇所MMMU-Pro | 81.6 / 83.4所在 HF モデルカード「3. Evaluation Results」の表、MMMU-Pro(ツールなし / ありの右) 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: 表注(ビジョン系のツールは Python) |
| MathVisionMax(既定) | Max | 94.3% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)公式・2026-11-13 取得 | ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0表から転記出典の該当箇所MathVision | 94.3 / 97.8所在 HF モデルカード「3. Evaluation Results」の表、MathVision(ツールなし / ありの左) 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Multimodal(3 回平均) |
| MathVision(ツールあり)Max(既定) | Max | 97.8% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)公式・2026-11-13 取得 | ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0表から転記出典の該当箇所MathVision | 94.3 / 97.8所在 HF モデルカード「3. Evaluation Results」の表、MathVision(ツールなし / ありの右) 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: 表注(ビジョン系のツールは Python) |
| BabyVision(ツールあり)Max(既定) | Max | 85.7% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)公式・2026-11-13 取得 | ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0。Python ツールあり表から転記出典の該当箇所BabyVision w/ python | 85.7所在 HF モデルカード「3. Evaluation Results」の表、BabyVision w/ python 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Multimodal(3 回平均) |
| ZeroBench main(ツールあり・pass@5)Max(既定) | Max | 41.0% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)公式・2026-11-13 取得 | ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0。Python ツールあり表から転記出典の該当箇所ZeroBench (pass@5) | 23.0 / 41.0所在 HF モデルカード「3. Evaluation Results」の表、ZeroBench (pass@5)(ツールなし / ありの右) 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Multimodal(ZeroBench は公式設定で 5 回) |
| OfficeQA ProMax(既定) | Max | 63.3 | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)公式・2026-11-13 取得 | ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0。Claude Code ハーネス・PDF はページ画像のみ表から転記出典の該当箇所OfficeQA Pro | 63.3所在 HF モデルカード「3. Evaluation Results」の表、OfficeQA Pro 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Agentic / OfficeQA Pro |
| τ²-bench banking_knowledge (v1.0.1)Max(既定) | Max | 37.1% | — | Sierra | τ²-bench leaderboard submission kimi-k3_sierra_2026-08-04 (sierra-research/tau2-bench, MIT)第三者・2026-11-13 取得 | τ²-bench リーダーボードの提出 kimi-k3_sierra_2026-08-04(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Moonshot AI": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "max"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "alltools"。評価日 2026-07-24。注記の要旨: 4 試行・seed 300。表から転記出典の該当箇所banking_knowledge.pass_1=37.11340206185567所在 submissions/kimi-k3_sierra_2026-08-04/submission.json の results.banking_knowledge.pass_1(ファイルの 17 行目)。model_name "Kimi K3"。methodology.notes(36 行目) |
関係するランキング
- 総合ランキング(すべてのモデル・記録)
- Terminal-Bench 2.1 の指標別ランキング(すべてのモデル・記録)
- DeepSWE v1.1 の指標別ランキング(すべてのモデル・記録)
- PostTrainBench の指標別ランキング(すべてのモデル・記録)
- CharXiv Reasoning の指標別ランキング(すべてのモデル・記録)
- GPQA Diamond の指標別ランキング(すべてのモデル・記録)
- FrontierMath Tiers 1-3(v2) の指標別ランキング(すべてのモデル・記録)
- FrontierMath Tier 4(v2) の指標別ランキング(すべてのモデル・記録)
- OTIS Mock AIME 2024-2025 の指標別ランキング(すべてのモデル・記録)
- SimpleQA Verified の指標別ランキング(すべてのモデル・記録)
- Chess Puzzles(Epoch AI) の指標別ランキング(すべてのモデル・記録)
- MirrorCode の指標別ランキング(すべてのモデル・記録)
- Epoch Capabilities Index(ECI) の指標別ランキング(すべてのモデル・記録)
- SWE-Marathon(版の記載なし) の指標別ランキング(すべてのモデル・記録)
- MLS-Bench-Lite の指標別ランキング(すべてのモデル・記録)
- AutomationBench(公開 600 タスク) の指標別ランキング(すべてのモデル・記録)
- BrowseComp の指標別ランキング(すべてのモデル・記録)
- MCP Atlas の指標別ランキング(すべてのモデル・記録)
- CharXiv Reasoning(ツールあり) の指標別ランキング(すべてのモデル・記録)
- MMMU-Pro の指標別ランキング(すべてのモデル・記録)
- MMMU-Pro(ツールあり) の指標別ランキング(すべてのモデル・記録)
- MathVision の指標別ランキング(すべてのモデル・記録)
- MathVision(ツールあり) の指標別ランキング(すべてのモデル・記録)
- BabyVision(ツールあり) の指標別ランキング(すべてのモデル・記録)
- ZeroBench main(ツールあり・pass@5) の指標別ランキング(すべてのモデル・記録)
- OfficeQA Pro の指標別ランキング(すべてのモデル・記録)
- τ²-bench banking_knowledge (v1.0.1) の指標別ランキング(すべてのモデル・記録)
- 役割別の推奨