2026年4月27日に更新された arXiv:2604.21916「MathDuels」は、LLM数学評価の前提を根本から組み替える提案である。従来の評価は、固定問題を「どれだけ解けるか」に偏っていた。MathDuelsは逆に、モデルを「解答者」と同時に「問題作成者」として競わせる。19のフロンティアモデル実験では、作問能力と解答能力が同一ではないこと、そして固定ベンチマークでは見えにくい能力差が露出することが示された。本稿は、論文の設計思想、三段階生成パイプライン、そして固定ベンチマーク飽和を超えるための動的評価の含意を整理する。

MathDuelsが突いた盲点: 「解ける強さ」と「作れる強さ」は別軸である

MathDuelsの核心は、モデルの数学能力を単一スコアで扱わない点にある。論文は各モデルに、(1) 他モデルを破る問題を作る役割、(2) 他モデルが作った問題を解く役割、を同時に与える。これにより、固定ベンチマークで高得点でも「難問を設計する能力」が弱いモデルは順位を落とし得るし、逆に解答力だけでは中位でも作問力で総合順位を押し上げるモデルが現れる。

論文本文では、作問側と解答側の能力が「partially decoupled（部分的に分離）」していると明記される。実験では、Gemini-3.1-Pro-highが作問側で突出し、著者が提示した指標では同モデルの作問セット平均解答率が62.9%にとどまる。つまり、他の強力モデル群でも約4割は解けない問題を継続的に供給できることを示した。この性質は、固定問題を解くだけの評価ではほぼ観測できない。

本稿タイトルの「創造性20-30%低下ギャップ」は、論文のこの実測値（対戦環境での60%台解答率）と、固定数学ベンチでしばしば観測される90%前後の高得点帯を比較した実務的な読み替えである。論文そのものの主張は「作問能力と解答能力の分離」であり、20-30%はその分離の大きさを理解するための近似レンジと解釈するのが妥当である。

固定ベンチマーク飽和の構造: なぜ数ヶ月で弁別力を失うのか

MathDuelsは、固定ベンチマーク飽和の原因を「問題供給速度」と「モデル改善速度」の逆転として捉える。論文はMATH（2021）やGSM8K（2021）を例示し、かつ近年の競技数学セット（AIME 2026）でも高性能モデルが強い結果を示していることを背景に、固定集合では先端モデルを十分に分離し続けられないと指摘する。

この問題は単なるリークではない。リーク対策を強めても、モデル能力の上昇が速ければ、問題集合の「難度天井」が先に破られる。結果として、スコア差は縮み、評価は順位の細部をノイズに依存しやすくなる。固定評価に依存したプロダクト意思決定は、ここで誤差を増幅する。たとえば、AモデルとBモデルの差が1-2ポイントしかない局面では、プロンプトや採点器の差分が実力差以上に見えてしまう。

MathDuelsはこの構造に対し、難易度を固定せず、参加モデルと共進化させる。新規参入モデルが「既存トップ層を破る新問題」を投入すると、評価空間が自動更新される。論文の図示では、新規上位2モデルが作成した問題の27.6%が旧トップ3の少なくとも1モデルを破った一方、残り参加者の問題では同率が8.0%であった。差分は3倍超であり、強いモデルの参入がそのまま評価難度の上方改定として働くことを示す。

三段階生成パイプラインの技術仕様: メタプロンプト→作問→難易度増幅

MathDuelsの実装上の要は、問題生成を単発で終わらせないことにある。論文は3段階を採用する。第1段階はメタプロンプト生成であり、モデル自身に「どういう条件なら難問になるか」を先に設計させる。第2段階は、そのメタプロンプトを入力として実際の問題と正答を生成する。第3段階は難易度増幅で、問題文の条件を再構成し、より深い推論や構成的発見を要求する形へ押し上げる。

この3段構成により、単純なテンプレート問題の量産を避ける効果が出る。論文のアブレーションでは、1段階・2段階より3段階の方が明確にエラー率を増やし、弁別力のある問題を生成できることが示された。加えて、検証フェーズでは独立検証器が不正確・曖昧な問題を除外し、誤答を正答として通してしまうノイズを抑える設計になっている。

評価統計にはRaschモデル（Bradley-Terry同型）が使われる。ここでは「解答者能力」と「問題難度」を同時推定し、さらに作問者スコアを難度側から導出する。重要なのは、モデルを単なる受験者ではなく、問題空間そのものを変える主体として扱う点である。これにより、評価対象がモデル能力だけでなく「問題分布をどこまで押し広げられるか」に拡張される。

実務への含意: LLMベンチマーク評価をどう再設計するべきか

第一に、調達・導入時の比較軸を「正答率一本」から「解答力×生成力」に分解すべきである。とくに数学推論やコード生成のような高難度領域では、難問を作る能力は、未知課題に対する探索能力や問題分解能力の代理変数として機能する可能性が高い。

第二に、固定ベンチマークは「基礎体力の最低確認」と割り切り、上位層の選別には動的評価を併用すべきである。実運用では、(a)固定公開セット、(b)社内非公開セット、(c)自己対戦セット、の三層構成が現実的である。これにより、過学習耐性・最新性能・分布外探索力を同時に観測できる。

第三に、評価指標の説明責任を明示する必要がある。MathDuels型の指標は高度である一方、非技術部門には直感的でない。したがって、Rasch由来の複合スコアを使う場合も、補助として「誰が誰をどの程度破ったか」という対戦指標を併記し、意思決定者が解釈可能な形に落とし込むべきである。

結論として、MathDuelsは「固定問題を解けるか」から「新しい難問を生み、かつ解けるか」へ評価観を移した。これはLLMベンチマーク評価における設計転換点であり、数学推論の次段階を測る実用的な出発点である。

FAQ

MathDuelsは従来の数学ベンチマークを置き換えるのか？

完全置換というより補完関係である。MATHやGSM8Kのような固定セットは基礎性能の比較に有効であり、MathDuelsは上位モデル間の差を再び拡大して観測する用途に向く。現実的には、固定評価と自己対戦評価を併用するハイブリッド運用が最適である。

「創造性20-30%低下ギャップ」は論文の厳密主張か？

論文の厳密主張は「作問能力と解答能力の部分的分離」である。20-30%は、対戦環境で観測された60%台の解答率と、固定ベンチで一般に見られる高得点帯との差を読むための実務的レンジであり、モデル・設定で変動する点に注意が必要である。

なぜ3段階生成パイプラインが必要なのか？

単発生成では、既知パターンの焼き直しが増えて弁別力が落ちやすい。メタプロンプトで難化戦略を明示し、次に問題化し、最後に難易度増幅することで、解法設計を要求する問題が増える。論文のアブレーションでも、3段階が最も高い誤答誘発力を示した。

企業のLLM選定で最初に導入すべき評価は何か？

最初の一歩は、既存の固定ベンチ結果をそのまま採用せず、社内タスクを模した小規模自己対戦を追加することである。モデル同士に問題生成と相互解答をさせるだけでも、単純な正答率では見えない能力差が短期間で浮き上がる。

参考文献