AIモデル同士に議論させると何が起きるか

2023年に発表されたMITとGoogle Brainの実験で、2体のAIエージェントに同じ質問がされました。「コンピュータ科学者のTomas Lozano-Perezはどの国で生まれたか？」エージェント1は「スペイン」と答えました。エージェント2は「キューバ」（正解）と答えました。その後、それぞれのエージェントに相手の回答を見せて、再考するよう促しました。エージェント1の返答はこうでした。「混乱させてしまい申し訳ありません。さらに調べたところ、Tomas Lozano-Perez氏は実際にはキューバ生まれであることを確認できました」

エージェント1が持っている知識そのものは、2つの回答の間で何も変わっていません。変わったのは、意見の食い違いに直面したという事実だけです。それだけで訂正するのに十分でした。

研究の内容

Yilun Du氏、Shuang Li氏、Antonio Torralba氏（MIT CSAIL）、Joshua Tenenbaum氏（MIT CSAIL/BCS/CBMM）、Igor Mordatch氏（Google Brain）は2023年に「Improving Factuality and Reasoning in Language Models through Multiagent Debate」を発表し、後にICML 2024で発表されました。手法自体はシンプルです。同じ言語モデルの独立したコピーを複数用意し、それぞれに同じ質問を与えます。各エージェントは互いに見えない状態で、まず自分だけで回答します。その後、各エージェントに他の全エージェントの回答と推論過程を見せ、それを踏まえて自分の回答を修正するよう求めます。これを数ラウンド繰り返します。

「これらの思考の筋道が同じ答えを出せば、その答えへの確信は強まる。一方、答えが異なる場合、個々の思考の筋道は精神的な『討論』の過程に入ることがある」

測定結果

算数、小学校レベルの数学（GSM8K）、チェスの手の質、伝記生成、一般知識（MMLU）、合法なチェスの手という6つのベンチマークすべてで、討論は「単一モデルが1人で回答する場合」と「単一モデルに自分の回答を『内省』させて修正させる場合」の両方を上回りました。

• 算数：67.0%（単一モデル）→81.8%（討論）
• 小学校レベルの数学（GSM8K）：77.0%→85.0%
• チェスの手の質（正規化スコア）：91.4→122.9
• 伝記の正確性：66.0%→73.8%
• 一般知識（MMLU）：63.9%→71.1%
• 合法なチェスの手：29.3%→45.2%

比較として、単一モデルに自分の回答を批評・修正させるだけの「内省（reflection）」では、効果ははるかに小さく、MMLUに至っては悪化しました（63.9%→57.7%）。自分の仕事を自分でチェックするモデルには、照らし合わせる「外部の何か」がありません。しかし本当に異なる回答を読むモデルには、それがあります。

討論は「絞り込む」だけでなく「訂正する」

さらに印象的なのは、論文中の伝記や数学の例です。全エージェントが最初の回答で間違えていたのに、その後のラウンドで互いの推論を突き合わせるだけで、グループとして正解にたどり着いたケースが実際に記録されています。討論は、たまたま正しかったエージェントの意見を増幅しているだけではなく、本物のエラー訂正ループとして機能しているのです。

ただし、合意イコール正しさではない

この論文は、この手法がうまくいかないケースについても率直です。モデルの全コピーが同じ盲点—同じ学習データに刻み込まれた、同じ「自信満々の間違い」—を共有している場合、討論は効果を発揮しません。

「討論は通常、単一の最終回答へと収束するが、その回答が必ずしも正しいとは限らない。…言語モデルが確信を持っている事実については、エージェントに意見を変えさせるのは非常に難しかった」

討論が直せるのは「意見の食い違い」であって、「共有された無知」ではありません。だからこそ、この論文の主な実験—同じモデルの複数コピー同士を討論させたもの—は、本来の可能性を過小評価している可能性が高いのです。実際、本当に異なるモデルファミリー（BardとChatGPT）を組み合わせた小規模なテスト（小学校レベルの数学の問題20問）では、Bard単体で11問、ChatGPT単体で14問正解したのに対し、両者を討論させると17問正解しました。学習方法が異なり、同じ失敗パターンを共有していないからこそ、互いに相手が見落とした間違いを拾い上げられたのです。

これが日々のAIの使い方にどう関係するか

これはまさに、単一のAIに自分自身をチェックさせるのではなく、複数の異なるAIモデルを1つの会話に同席させることの根底にあるメカニズムです。各モデルがまず独立して回答し、次に他のモデルの推論を見て、修正する機会を得る。この論文の結果が示しているのは、本当の効果が生まれるのは後半部分—自分の回答とは本当に異なる何かを見なければならない部分—だということです。そしてその効果は、参加するモデルが互いのコピーではなく、実際に異なる開発元・異なる学習過程から来ている場合に、小さくなるどころかむしろ大きくなります。

実際にどう組み立てればいいかは、ベストプラクティスガイドをご覧ください。特に、誰かが他の回答を見る前に同じ質問を全モデルに一斉配信することが（その逆ではなく）、この研究が実際に間違いを訂正すると示した「本物の意見の相違」を保つ理由についても触れています。

参考文献

• Du, Y., Li, S., Torralba, A., Tenenbaum, J. B., & Mordatch, I. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325. ICML 2024にて発表。