AIに複数回聞く方が、大きなモデルより優れている場合がある

Llama2-13Bに1回だけ質問した場合、小学校レベルの数学問題（GSM8K）の正答率は35%です。約5.4倍大きいLlama2-70Bは54%。一見、サイズの差に見えます。でも実際はそうではありません。同じ小さいモデルに同じ質問を40回投げて、40回分の回答の中から最も多い答えを採用すると—正答率は59%。1回しか聞いていない大きなモデルの正答率を、サイズがほんの一部しかないモデルが上回りました。

研究の内容

Junyou Li氏、Qin Zhang氏、Yangbin Yu氏、Qiang Fu氏、Deheng Ye氏（Tencent）は2024年に「More Agents Is All You Need」（Transformerの原論文「Attention Is All You Need」へのオマージュ的なタイトル）を発表しました（Transactions on Machine Learning Research誌）。手法「Agent Forest」はできる限りシンプルです。同じモデルにランダム性をオンにした状態でN回同じ質問をし（毎回微妙に異なる回答が返る可能性がある）、その回答同士に多数決を取らせます。コード生成のようなオープンエンドなタスクでは「最も多い」を候補間のテキスト類似度（BLEUスコア）で測り、選択式に近いタスクでは単純に最頻回答を採用します。

「小さなLLMのブルートフォース・アンサンブルは、追加のプロンプト設計や複雑な協調フレームワークを必要とせずに、大きなLLMに匹敵する、あるいはそれを上回る性能を達成できる」

結果

5つのベンチマーク（数学、推論、チェスの状態追跡、一般知識、コード生成）と3種類のモデルサイズで、1回の質問から最大40件のアンサンブルまでテストしました。

• Llama2-13B（GSM8K）：35%（単発）→59%（40件アンサンブル）— Llama2-70Bの単発54%を上回る
• Llama2-70B（GSM8K）：54%（単発）→74%（アンサンブル）
• GPT-3.5-Turbo（GSM8K）：73%（単発）→85%（アンサンブル）
• GPT-3.5-Turbo（MMLU、一般知識）：59%（単発）→70%（アンサンブル）
• GPT-3.5-Turbo（HumanEval、コード生成）：67%（単発）→73%（アンサンブル）

参考までに、同じ評価でGPT-4に1回だけ質問した場合の正答率は88%でした。GPT-3.5-Turboの40件アンサンブル（85%）は、はるかに安価なモデルでそこに近づいています。賢くなったからではなく、最初の1つの回答で妥協しなかったからです。

効果には限界があり、それがどこで現れるか

効果は無限ではありません。論文自体の図によれば、正答率はおおよそ15〜20件までは急上昇し、その後は横ばいになります—40件までいかなくても、恩恵の大部分はもっと少ない件数で得られています。また、この効果は問題の難易度によってムラがあることも分かりました。問題が難しいほど、アンサンブルの効果は大きくなります。より難しいMATHデータセットでは、小さいLlama2-13Bモデルはアンサンブルにより28%〜200%の相対的な改善を得ましたが、より簡単なGSM8Kでは16%〜69%にとどまりました。難しい問題ほど、モデルが試行ごとに正解・不正解の異なるパターンを示す余地が大きく、それこそが多数決に必要な「材料」なのです。

正直な限界：これは「1つのモデル」に「何度もサイコロを振る」だけ

Agent Forestの実体を正確に理解しておく価値があります。この論文における「エージェント」は全て同じモデルで、ランダム性を持たせて繰り返しサンプリングしたものです。これは、異なる研究機関が異なるデータで学習させた複数の別々のモデルを1つの会話に同席させることとは、本質的に異なる設定です。コストはアンサンブルサイズに比例して増加し（40サンプルなら単発の約40倍のトークン量）、この手法がすべての手法とうまく組み合わさるわけでもないことも分かりました。特にコード生成において討論型の手法と組み合わせた場合、性能はむしろ悪化しました。著者らは、他のサンプルを参照することで生じるノイズが、本来一貫していたはずのコードロジックを乱すためだと分析しています。

以前のマルチエージェント討論についての記事との関連性も、はっきり指摘しておく価値があります。あの研究では、本当に異なるモデル（BardとChatGPT）同士の討論の方が、同じモデルのコピー同士の討論よりも多くの間違いを拾い上げました。異なるモデルは同じ盲点を共有していないからです。同じモデルを振り直すという、利用可能な多様性の中でも最も弱い形態だけでも、これほど大きな効果が出るのであれば、本当に互いに独立したモデルに質問することがその効果を薄めるのではなく、むしろ増幅させるだろうと期待するのは（この論文自体が検証したわけではありませんが）妥当な推測です。

これが実際にどう関係するか

ここでの核心的な発見は「大きなモデルを使え」ではありません。単一のモデルに1回だけ質問するというやり方は—モデルのサイズに関わらず—特に難しい問題において、本来得られるはずの精度を取りこぼしている、ということです。1つの答えに落ち着く前に、独立した複数の試行を得ることには、本物の意味があるのです。

実際にどう応用すればいいかは、ベストプラクティスガイドをご覧ください。1つの質問を複数のモデルに同時に投げかけて回答を比較するというのは、この論文が1つのモデルを40回振ることで示したのと同じ原理を、最初から多様性を組み込んだ形で行っているということです。

参考文献

• Li, J., Zhang, Q., Yu, Y., Fu, Q., & Ye, D. (2024). More Agents Is All You Need. Transactions on Machine Learning Research. arXiv:2402.05120.