AI 모델끼리 논쟁하게 하면 어떤 일이 일어날까

2023년 MIT/Google Brain 실험에서, 두 AI 에이전트에게 같은 질문이 주어졌다. "컴퓨터 과학자 Tomas Lozano-Perez는 어느 나라에서 태어났는가?" 에이전트 1은 스페인이라고 답했다. 에이전트 2는 쿠바(정답)라고 답했다. 그 후 각 에이전트에게 상대의 답변을 보여주고 다시 생각해보게 했다. 에이전트 1의 대답은 이랬다. "혼란을 드려 죄송합니다. 추가로 조사한 결과, Tomas Lozano-Perez는 실제로 쿠바에서 태어난 것으로 확인됩니다."

에이전트 1이 가진 근본적인 지식은 두 답변 사이에 전혀 바뀌지 않았다. 바뀐 것은 의견 충돌에 직면했다는 사실 하나뿐이었다 — 그것만으로 오류를 바로잡기에 충분했다.

연구 내용

Yilun Du, Shuang Li, Antonio Torralba(MIT CSAIL), Joshua Tenenbaum(MIT CSAIL/BCS/CBMM), Igor Mordatch(Google Brain) 는 2023년 Improving Factuality and Reasoning in Language Models through Multiagent Debate를 발표했고, 이후 ICML 2024에서 발표되었다. 방법 자체는 간단하다. 여러 개의 독립적인 언어 모델 복사본에게 같은 질문을 준다. 각자 서로를 보지 못한 채 스스로 답한다. 그런 다음 각 에이전트에게 다른 모든 에이전트의 답변과 추론 과정을 보여주고, 방금 읽은 내용을 바탕으로 자신의 답변을 수정하도록 요청한다. 이를 몇 라운드 반복한다.

"이 사고의 흐름들이 같은 답을 낼 때, 그 답에 대한 확신은 커진다. 반대로 답이 다를 때는, 개별 사고의 흐름이 정신적인 '토론' 과정에 들어갈 수 있다."

측정 결과

산수, 초등 수학(GSM8K), 체스 수의 질, 전기(biography) 생성, 일반 지식(MMLU), 합법적인 체스 수까지 6개 벤치마크 전반에서, 토론은 "단일 모델이 혼자 답하는 경우"와 "단일 모델에게 자기 답변을 '성찰'하고 수정하게 하는 경우" 모두를 앞질렀다.

• 산수: 67.0%(단일 모델) → 81.8%(토론)
• 초등 수학(GSM8K): 77.0% → 85.0%
• 체스 수의 질(정규화 점수): 91.4 → 122.9
• 전기 정확도: 66.0% → 73.8%
• 일반 지식(MMLU): 63.9% → 71.1%
• 합법적인 체스 수: 29.3% → 45.2%

비교하자면, 단일 모델에게 자기 답변을 비평하고 수정하게만 하는 "성찰(reflection)"은 효과가 훨씬 작았고, MMLU에서는 오히려 악화됐다(63.9% → 57.7%). 자기 작업을 스스로 점검하는 모델에게는 비교할 외부 기준이 없다. 반면 진짜로 다른 답변을 읽는 모델에게는 그것이 있다.

토론은 걸러내기만 하는 것이 아니라 바로잡는다

더 인상적인 발견은 논문의 전기 및 수학 사례에 있다. 모든 에이전트가 첫 시도에서 오답을 냈는데도, 이후 라운드에서 서로의 추론을 교차 검증하는 것만으로 그룹이 정답에 도달한 사례가 실제로 기록되어 있다. 토론은 우연히 맞았던 에이전트의 의견을 증폭하는 데 그치지 않는다 — 진짜 오류 수정 루프로 작동한다.

함정: 합의는 정확함과 같지 않다

이 논문은 이 방법이 통하지 않는 지점에 대해서도 솔직하다. 모델의 모든 복사본이 같은 사각지대 — 같은 학습 데이터에 박혀 있는 같은 "자신만만한 오답" — 를 공유할 때, 토론은 도움이 되지 않는다.

"토론은 대체로 단일한 최종 답변으로 수렴했지만, 그 답변이 반드시 정답인 것은 아니었다. […] 언어 모델이 확신하고 있는 사실에 대해서는, 에이전트가 의견을 바꾸도록 설득하기가 매우 어려웠다."

토론이 고치는 것은 "의견 충돌"이지 "공유된 무지"가 아니다. 바로 이 때문에, 같은 모델의 여러 복사본끼리 주로 토론시킨 이 논문의 주요 실험들은 실제 상한선을 과소평가하고 있을 가능성이 높다. 실제로 서로 다른 모델 계열(Bard와 ChatGPT)을 섞은 소규모 테스트(초등 수학 문제 20개) 에서는, Bard 단독으로 11문제, ChatGPT 단독으로 14문제를 풀었지만, 둘이 토론하며 함께 풀자 17문제를 풀었다 — 학습 방식이 다르고 같은 실패 패턴을 공유하지 않았기 때문에, 서로 상대가 놓친 실수를 잡아낼 수 있었던 것이다.

이것이 일상적인 AI 사용에 의미하는 바

이것이 바로 단일 AI에게 스스로를 재확인하게 하는 대신, 여러 다른 AI 모델을 하나의 대화에 함께 두는 것의 근본 메커니즘이다. 각 모델이 먼저 독립적으로 답한 뒤, 다른 모델의 추론을 보고 수정할 기회를 얻는다. 이 논문의 결과가 말해주는 것은, 진짜 이득은 후반부 — 자기 자신의 답변과는 진짜로 다른 무언가를 봐야 하는 부분 — 에서 나온다는 것이며, 참여하는 모델들이 서로의 복사본이 아니라 실제로 다른 곳에서, 다른 학습 과정을 거쳐 왔을 때 그 이득은 작아지기는커녕 오히려 커진다는 것이다.

이를 실제로 어떻게 구성하면 되는지는 모범 사례 가이드를 참고하라 — 특히, 누군가 다른 답변을 보기 전에 같은 질문을 모든 모델에게 동시에 보내는 것이(그 반대가 아니라) 이 연구가 실제로 오류를 바로잡는다고 보여준 "진짜 의견 충돌"을 유지하는 이유에 대해서도 다룬다.

출처

• Du, Y., Li, S., Torralba, A., Tenenbaum, J. B., & Mordatch, I. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325. ICML 2024에서 발표.