τ²-bench banking_knowledge (v1.0.1)
ツールを使う会話エージェントが、ユーザー役のシミュレータと対話して、知識ベースの検索が要る銀行の顧客対応のタスクを方針どおりに完了できるか(pass^1)。tau2_bench_version v1.0.1 の提出。v1.0.1 で banking_knowledge の採点を直したので、1.0.1 より前の版の値とは比べられない(CHANGELOG の [1.0.1] の "banking_knowledge scores are not comparable across this release")。
- 分類
- ツール利用
- 単位
- パーセント(%)
- 高いほど良い
- 比較グループ
- 4グループ
- すべてのモデルの順位(記録)・順位を付けた結果 22 件
すべてのモデルの順位(記録)
旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。
旧モデル・選べないモデルを含む順位を開く(22 件)
第三者の結果(τ²-bench v1.0.1 banking_knowledge(Sierra の実行・検索 alltools))
Sierra が tau2_bench_version 1.0.1 で実行した banking_knowledge の提出のうち、リーダーボードの判定(trajectories_available が true・プロンプト調整なし・設問の省略なし)で検証済みで、検索の設定(retrieval_config)が alltools のもの。予備的な比較のため軌跡を非公開とした提出(verification.details の "Trajectories suppressed")を含む。検索の設定が違う結果とは比べない。
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Qwen3.8-Max | Xhigh | 55.2% | — | Sierra | τ²-bench leaderboard submission qwen3-8-max_sierra_2026-08-04 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 qwen3-8-max_sierra_2026-08-04(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Qwen": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "xhigh"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "alltools"。評価日 2026-08-03。注記の要旨: 4 試行・seed 300。出典の該当箇所banking_knowledge.pass_1=55.154639175257735所在 submissions/qwen3-8-max_sierra_2026-08-04/submission.json の results.banking_knowledge.pass_1(ファイルの 17 行目)。model_name "Qwen 3.8 Max"。methodology.notes(36 行目) |
| 2 | Claude Opus 5 | Max | 48.7% | — | Sierra | τ²-bench leaderboard submission claude-opus-5_sierra_2026-08-04 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 claude-opus-5_sierra_2026-08-04(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Anthropic": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "max"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "alltools"。評価日 2026-08-03。注記の要旨: 4 試行・seed 300。出典の該当箇所banking_knowledge.pass_1=48.71134020618557所在 submissions/claude-opus-5_sierra_2026-08-04/submission.json の results.banking_knowledge.pass_1(ファイルの 17 行目)。model_name "Claude Opus 5"。methodology.notes(36 行目) |
| 3 | Grok 4.5 | High | 47.9% | — | Sierra | τ²-bench leaderboard submission grok-4-5_sierra_2026-08-04 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 grok-4-5_sierra_2026-08-04(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "xAI": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "high"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "alltools"。評価日 2026-07-24。注記の要旨: 4 試行・seed 300。出典の該当箇所banking_knowledge.pass_1=47.93814432989691所在 submissions/grok-4-5_sierra_2026-08-04/submission.json の results.banking_knowledge.pass_1(ファイルの 17 行目)。model_name "Grok 4.5"。methodology.notes(36 行目) |
| 4 | GPT-5.6 Sol | Xhigh | 46.9% | — | Sierra | τ²-bench leaderboard submission gpt-5-6-sol_sierra_2026-08-04 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 gpt-5-6-sol_sierra_2026-08-04(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "OpenAI": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "xhigh"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "alltools"。評価日 2026-07-22。注記の要旨: 4 試行・seed 300。出典の該当箇所banking_knowledge.pass_1=46.90721649484536所在 submissions/gpt-5-6-sol_sierra_2026-08-04/submission.json の results.banking_knowledge.pass_1(ファイルの 17 行目)。model_name "GPT-5.6-sol"。methodology.notes(36 行目) |
| 5 | GPT-5.5 | Xhigh | 44.6% | — | Sierra | τ²-bench leaderboard submission gpt-5-5_sierra_2026-05-05 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 gpt-5-5_sierra_2026-05-05(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "OpenAI": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "xhigh"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "alltools"。評価日 2026-07-22。注記の要旨: 4 試行・seed 300。出典の該当箇所banking_knowledge.pass_1=44.58762886597938所在 submissions/gpt-5-5_sierra_2026-05-05/submission.json の results.banking_knowledge.pass_1(ファイルの 17 行目)。model_name "GPT-5.5"。methodology.notes(36 行目) |
| 6 | Claude Opus 4.7 | Max | 40.2% | — | Sierra | τ²-bench leaderboard submission claude-opus-4-7_sierra_2026-05-05 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 claude-opus-4-7_sierra_2026-05-05(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Anthropic": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "max"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "alltools"。評価日 2026-07-23。注記の要旨: 4 試行・seed 300。出典の該当箇所banking_knowledge.pass_1=40.20618556701031所在 submissions/claude-opus-4-7_sierra_2026-05-05/submission.json の results.banking_knowledge.pass_1(ファイルの 17 行目)。model_name "Claude Opus 4.7"。methodology.notes(36 行目) |
| 7 | Claude Fable 5 | Max | 39.7% | — | Sierra | τ²-bench leaderboard submission claude-fable-5_sierra_2026-08-04 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 claude-fable-5_sierra_2026-08-04(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Anthropic": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "max"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "alltools"。評価日 2026-07-23。注記の要旨: 4 試行・seed 300。出典の該当箇所banking_knowledge.pass_1=39.69072164948454所在 submissions/claude-fable-5_sierra_2026-08-04/submission.json の results.banking_knowledge.pass_1(ファイルの 17 行目)。model_name "Claude Fable 5"。methodology.notes(36 行目) |
| 7 | Claude Opus 4.8 | Max | 39.7% | — | Sierra | τ²-bench leaderboard submission claude-opus-4-8_sierra_2026-08-04 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 claude-opus-4-8_sierra_2026-08-04(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Anthropic": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "max"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "alltools"。評価日 2026-07-23。注記の要旨: 4 試行・seed 300。出典の該当箇所banking_knowledge.pass_1=39.69072164948454所在 submissions/claude-opus-4-8_sierra_2026-08-04/submission.json の results.banking_knowledge.pass_1(ファイルの 17 行目)。model_name "Claude Opus 4.8"。methodology.notes(36 行目) |
| 9 | GPT-5.4 | Xhigh | 39.4% | $1.84Average cost in USD to run one trajectory in this domain | Sierra | τ²-bench leaderboard submission gpt-5-4_sierra_2026-03-25 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 gpt-5-4_sierra_2026-03-25(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "OpenAI": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "xhigh"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "alltools"。評価日 2026-05-06。注記の要旨: 2026-07-15 に v1.0.1 の採点修正で再採点・4 試行・seed 300。出典の該当箇所banking_knowledge.pass_1=39.43; banking_knowledge.cost=1.8423所在 submissions/gpt-5-4_sierra_2026-03-25/submission.json の results.banking_knowledge.pass_1(ファイルの 26 行目)、results.banking_knowledge.cost(30 行目)。model_name "GPT-5.4"。methodology.notes(38 行目) |
| 10 | GLM-5.2 | 記載なし | 37.1% | — | Sierra | τ²-bench leaderboard submission glm-5-2_sierra_2026-08-04 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 glm-5-2_sierra_2026-08-04(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Z.ai": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。出典の effort 表記「xhigh」は公式の effort 一覧を取得できていないため effort なし(reasoning_effort "xhigh")。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "alltools"。評価日 2026-07-24。注記の要旨: 4 試行・seed 300。出典の該当箇所banking_knowledge.pass_1=37.11340206185567所在 submissions/glm-5-2_sierra_2026-08-04/submission.json の results.banking_knowledge.pass_1(ファイルの 17 行目)。model_name "GLM-5.2"。methodology.notes(36 行目) |
| 10 | Kimi K3 | Max | 37.1% | — | Sierra | τ²-bench leaderboard submission kimi-k3_sierra_2026-08-04 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 kimi-k3_sierra_2026-08-04(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Moonshot AI": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "max"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "alltools"。評価日 2026-07-24。注記の要旨: 4 試行・seed 300。出典の該当箇所banking_knowledge.pass_1=37.11340206185567所在 submissions/kimi-k3_sierra_2026-08-04/submission.json の results.banking_knowledge.pass_1(ファイルの 17 行目)。model_name "Kimi K3"。methodology.notes(36 行目) |
| 12 | GPT-5.2 | High | 32.2% | — | Sierra | τ²-bench leaderboard submission gpt-5-2_sierra_2026-02-26 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 gpt-5-2_sierra_2026-02-26(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "OpenAI": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "high"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "alltools"。評価日 2026-05-05。注記の要旨: 2026-07-15 に v1.0.1 の採点修正で再採点・4 試行・seed 300。出典の該当箇所banking_knowledge.pass_1=32.22所在 submissions/gpt-5-2_sierra_2026-02-26/submission.json の results.banking_knowledge.pass_1(ファイルの 43 行目)。model_name "GPT-5.2"。methodology.notes(56 行目) |
| 13 | Claude Opus 4.6 | Max | 27.3% | — | Sierra | τ²-bench leaderboard submission claude-opus-4-6_sierra_2026-05-05 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 claude-opus-4-6_sierra_2026-05-05(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Anthropic": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードの判定で検証済み(プロンプト調整なし・設問の省略なし)。軌跡は非公開(予備的な比較)。値は pass^1(%)。reasoning_effort "max"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "alltools"。評価日 2026-05-06。注記の要旨: 2026-07-15 に v1.0.1 の採点修正で再採点・4 試行・seed 300。出典の該当箇所banking_knowledge.pass_1=27.32所在 submissions/claude-opus-4-6_sierra_2026-05-05/submission.json の results.banking_knowledge.pass_1(ファイルの 22 行目)。model_name "Claude Opus 4.6"。verification.details(39 行目)は "Trajectories suppressed for this preliminary AllTools comparison"。methodology.notes(35 行目) |
| 14 | Gemini 3.1 Pro Preview | High | 26.0% | — | Sierra | τ²-bench leaderboard submission gemini-3-1-pro-preview_sierra_2026-05-05 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 gemini-3-1-pro-preview_sierra_2026-05-05(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Google": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードの判定で検証済み(プロンプト調整なし・設問の省略なし)。軌跡は非公開(予備的な比較)。値は pass^1(%)。reasoning_effort "high"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "alltools"。評価日 2026-05-05。注記の要旨: 2026-07-15 に v1.0.1 の採点修正で再採点・4 試行・seed 300。出典の該当箇所banking_knowledge.pass_1=26.03所在 submissions/gemini-3-1-pro-preview_sierra_2026-05-05/submission.json の results.banking_knowledge.pass_1(ファイルの 22 行目)。model_name "Gemini 3.1 Pro Preview"。verification.details(39 行目)は "Trajectories suppressed for this preliminary AllTools comparison"。methodology.notes(35 行目) |
| 15 | Claude Opus 4.5 | High | 24.7% | — | Sierra | τ²-bench leaderboard submission claude-opus-4-5_sierra_2026-02-26 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 claude-opus-4-5_sierra_2026-02-26(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Anthropic": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "high"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "alltools"。評価日 2026-05-05。注記の要旨: 2026-07-15 に v1.0.1 の採点修正で再採点・4 試行・seed 300。出典の該当箇所banking_knowledge.pass_1=24.74所在 submissions/claude-opus-4-5_sierra_2026-02-26/submission.json の results.banking_knowledge.pass_1(ファイルの 43 行目)。model_name "Claude Opus 4.5"。methodology.notes(56 行目) |
| 16 | Gemini 2.5 Pro | High | 13.7% | — | Sierra | τ²-bench leaderboard submission gemini-2-5-pro_sierra_2026-05-05 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 gemini-2-5-pro_sierra_2026-05-05(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Google": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードの判定で検証済み(プロンプト調整なし・設問の省略なし)。軌跡は非公開(予備的な比較)。値は pass^1(%)。reasoning_effort "high"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "alltools"。評価日 2026-05-05。注記の要旨: 2026-07-15 に v1.0.1 の採点修正で再採点・4 試行・seed 300。出典の該当箇所banking_knowledge.pass_1=13.66所在 submissions/gemini-2-5-pro_sierra_2026-05-05/submission.json の results.banking_knowledge.pass_1(ファイルの 22 行目)。model_name "Gemini 2.5 Pro"。verification.details(39 行目)は "Trajectories suppressed for this preliminary AllTools comparison"。methodology.notes(35 行目) |
第三者の結果(τ²-bench v1.0.1 banking_knowledge(Sierra の実行・検索 terminal))
Sierra が tau2_bench_version 1.0.1 で実行した banking_knowledge の提出のうち、リーダーボードの判定(trajectories_available が true・プロンプト調整なし・設問の省略なし)で検証済みで、検索の設定(retrieval_config)が terminal のもの。検索の設定が違う結果とは比べない。
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Gemini 3 Flash Preview | High | 27.3% | — | Sierra | τ²-bench leaderboard submission gemini-3-flash_sierra_2026-03-02 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 gemini-3-flash_sierra_2026-03-02(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Google": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "high"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "terminal"。評価日 2026-03-02。注記の要旨: 2026-07-15 に v1.0.1 の採点修正で再採点・4 試行・seed 123・52 件が max_steps で打ち切られ 0 点。出典の該当箇所banking_knowledge.pass_1=27.32所在 submissions/gemini-3-flash_sierra_2026-03-02/submission.json の results.banking_knowledge.pass_1(ファイルの 43 行目)。model_name "Gemini 3 Flash"。methodology.notes(56 行目) |
| 2 | Claude Sonnet 4.5 | 記載なし | 25.3% | $4.05Average cost in USD to run one trajectory in this domain | Sierra | τ²-bench leaderboard submission claude-sonnet-4-5_sierra_2026-02-26 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 claude-sonnet-4-5_sierra_2026-02-26(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Anthropic": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。出典の effort 表記「enabled」は公式の effort 一覧に無いため effort なし(reasoning_effort "enabled")。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "terminal"。評価日 2026-02-24。注記の要旨: 2026-07-15 に v1.0.1 の採点修正で再採点・4 試行・seed 300・extended thinking を有効。出典の該当箇所banking_knowledge.pass_1=25.26; banking_knowledge.cost=4.04814所在 submissions/claude-sonnet-4-5_sierra_2026-02-26/submission.json の results.banking_knowledge.pass_1(ファイルの 43 行目)、results.banking_knowledge.cost(47 行目)。model_name "Claude Sonnet 4.5"。methodology.notes(56 行目) |
| 3 | Gemini 3 Pro Preview | High | 18.0% | — | Sierra | τ²-bench leaderboard submission gemini-3-pro_sierra_2026-03-02 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 gemini-3-pro_sierra_2026-03-02(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Google": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "high"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "terminal"。評価日 2026-03-02。注記の要旨: 2026-07-15 に v1.0.1 の採点修正で再採点・4 試行・seed の記載なし・42 件が max_steps で打ち切られ 0 点。出典の該当箇所banking_knowledge.pass_1=18.04所在 submissions/gemini-3-pro_sierra_2026-03-02/submission.json の results.banking_knowledge.pass_1(ファイルの 43 行目)。model_name "Gemini 3 Pro"。methodology.notes(56 行目) |
第三者の結果(τ²-bench v1.0.1 banking_knowledge(Sierra の実行・検索 text-emb-3-large))
Sierra が tau2_bench_version 1.0.1 で実行した banking_knowledge の提出のうち、リーダーボードの判定(trajectories_available が true・プロンプト調整なし・設問の省略なし)で検証済みで、検索の設定(retrieval_config)が text-emb-3-large のもの。検索の設定が違う結果とは比べない。
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | GLM-5 | 記載なし | 9.8% | — | Sierra | τ²-bench leaderboard submission glm-5-think_sierra_2026-03-02 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 glm-5-think_sierra_2026-03-02(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Zhipu AI": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。出典の effort 表記「enabled」は公式の effort 一覧を取得できていないため effort なし(reasoning_effort "enabled")。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。retrieval_config "text-emb-3-large"。評価日 2026-02-27。注記: 2026-07-15 に v1.0.1 の採点修正で再採点・4 試行・seed 300・temperature 1.0・top_p 0.95・インフラエラーは失敗扱い(件数不明)。出典の該当箇所banking_knowledge.pass_1=9.79所在 submissions/glm-5-think_sierra_2026-03-02/submission.json の results.banking_knowledge.pass_1(ファイルの 43 行目)。model_name "GLM-5"。methodology.notes(56 行目) |
| 1 | Qwen3.5-397B-A17B | 記載なし | 9.8% | — | Sierra | τ²-bench leaderboard submission qwen3.5-397b-a17b-think_sierra_2026-03-02 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 qwen3.5-397b-a17b-think_sierra_2026-03-02(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Alibaba Cloud": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "enabled"(thinking 有効。HF のモデルカードに段階が無く effort なし)。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "text-emb-3-large"。評価日 2026-02-27。注記の要旨: 2026-07-15 に v1.0.1 の採点修正で再採点・4 試行・seed 300・temperature 1.0・top_p 0.95・vLLM で自前ホスト。出典の該当箇所banking_knowledge.pass_1=9.79所在 submissions/qwen3.5-397b-a17b-think_sierra_2026-03-02/submission.json の results.banking_knowledge.pass_1(ファイルの 43 行目)。model_name "Qwen3.5-397B-A17B"。methodology.notes(56 行目) |
第三者の結果(τ²-bench v1.0.1 banking_knowledge(Sierra の実行・検索 qwen_embeddings))
Sierra が tau2_bench_version 1.0.1 で実行した banking_knowledge の提出のうち、リーダーボードの判定(trajectories_available が true・プロンプト調整なし・設問の省略なし)で検証済みで、検索の設定(retrieval_config)が qwen_embeddings のもの。検索の設定が違う結果とは比べない。
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | GPT-5.2 | None | 12.6% | $0.24Average cost in USD to run one trajectory in this domain | Sierra | τ²-bench leaderboard submission gpt-5-2-none_sierra_2026-02-26 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 gpt-5-2-none_sierra_2026-02-26(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "OpenAI": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "none"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。検索の設定 retrieval_config "qwen_embeddings"。評価日 2026-05-26。注記の要旨: 2026-07-15 に v1.0.1 の採点修正で再採点・4 試行・seed 300。出典の該当箇所banking_knowledge.pass_1=12.63; banking_knowledge.cost=0.2433424974226804所在 submissions/gpt-5-2-none_sierra_2026-02-26/submission.json の results.banking_knowledge.pass_1(ファイルの 43 行目)、results.banking_knowledge.cost(47 行目)。model_name "GPT-5.2"。methodology.notes(56 行目) |