AI에게 여러 번 묻는 것이 더 큰 모델보다 나을 수 있다

Llama2-13B에 한 번만 질문했을 때, 초등학교 수준 수학 문제(GSM8K) 정답률은 35%다. 약 5.4배 더 큰 Llama2-70B는 54%다. 언뜻 모델 크기 차이처럼 보인다. 하지만 대부분은 그게 아니다. 같은 작은 모델에 똑같은 질문을 40번 던지고, 40번의 답변 중 가장 많이 나온 답을 채택하면 — 정답률은 59%까지 오른다. 한 번만 질문받은 큰 모델의 성적을, 크기가 극히 일부에 불과한 모델이 뛰어넘는 것이다.

연구 내용

Junyou Li, Qin Zhang, Yangbin Yu, Qiang Fu, Deheng Ye (Tencent) 연구팀은 2024년 "More Agents Is All You Need"(원조 Transformer 논문 "Attention Is All You Need"에 대한 오마주가 담긴 제목)를 발표했다(Transactions on Machine Learning Research 게재). 이들의 방법론인 Agent Forest는 시도해볼 수 있는 것 중 가장 단순한 축에 속한다: 같은 모델에 무작위성을 켠 채로 같은 질문을 N번 던져(매번 답이 조금씩 달라질 수 있다) 그 답변들끼리 투표하게 하는 것이다. 코드 생성처럼 열린 형태의 과제에서는 "가장 많이 나온 답"을 후보들 간 텍스트 유사도(BLEU 점수)로 측정하고, 객관식에 가까운 과제에서는 말 그대로 가장 빈번한 답을 채택한다.

"작은 LLM들의 무차별 앙상블은 추가적인 수작업 프롬프트 설계나 복잡한 협업 프레임워크 없이도 더 큰 LLM에 필적하거나 이를 능가하는 성능을 낼 수 있다."

연구 결과

5개 벤치마크(수학, 추론, 체스 상태 추적, 일반 지식, 코드 생성)와 3가지 모델 크기에 걸쳐, 1회 질문부터 최대 40개짜리 앙상블까지 테스트했다.

• Llama2-13B, GSM8K: 35%(단일) → 59%(40개 앙상블) — Llama2-70B의 단일 정답률 54%를 상회
• Llama2-70B, GSM8K: 54%(단일) → 74%(앙상블)
• GPT-3.5-Turbo, GSM8K: 73%(단일) → 85%(앙상블)
• GPT-3.5-Turbo, MMLU(일반 지식): 59%(단일) → 70%(앙상블)
• GPT-3.5-Turbo, HumanEval(코드 생성): 67%(단일) → 73%(앙상블)

참고로 같은 평가에서 GPT-4에 한 번만 질문했을 때 GSM8K 정답률은 88%였다. GPT-3.5-Turbo의 40개 앙상블(85%)은 훨씬 저렴한 모델로 그 수준에 근접한다 — 더 똑똑해져서가 아니라, 첫 번째 답에 안주하지 않았기 때문이다.

수확체감, 그리고 그 지점

효과가 무한정 커지지는 않는다. 논문 자체의 그래프를 보면 정답률은 대략 15~20개 샘플까지 가파르게 오르다가 이후 평평해진다 — 대부분의 이득은 40개까지 가지 않아도 이미 얻어진다. 또한 이 효과는 문제 난이도에 따라 고르지 않다는 것도 발견됐다. 문제가 어려울수록 앙상블의 효과가 더 커진다. 더 어려운 MATH 데이터셋에서는 작은 Llama2-13B 모델이 앙상블을 통해 28%~200%의 상대적 개선을 얻었지만, 더 쉬운 GSM8K에서는 16%~69%에 그쳤다. 어려운 문제일수록 모델이 시도할 때마다 서로 다른 방식으로 맞거나 틀릴 여지가 크고, 이것이 바로 다수결에 필요한 "재료"다.

솔직한 한계: 이것은 "하나의 모델"로 "주사위를 여러 번 굴리는" 것일 뿐

Agent Forest가 실제로 무엇인지 정확히 짚어둘 필요가 있다: 이 논문에서 "에이전트"는 전부 동일한 모델이며, 무작위성을 부여해 반복적으로 샘플링한 것이다. 이는 서로 다른 연구기관이 서로 다른 데이터로 학습시킨 여러 개의 별도 모델을 한 대화에 참여시키는 것과는 본질적으로 다른 설정이다. 비용은 앙상블 크기에 비례해 늘어나고(샘플 40개면 단일 질문 대비 대략 40배의 토큰이 든다), 이 방법이 모든 기법과 잘 맞물리는 것도 아니라는 사실이 확인됐다. 특히 코드 생성에서 토론형 기법과 결합했을 때는 오히려 성능이 악화됐는데, 저자들은 다른 샘플에서 온 노이즈가 원래 일관되었을 코드 로직을 흐트러뜨렸기 때문이라고 분석한다.

이전에 다룬 멀티 에이전트 토론에 관한 글과의 연결고리도 짚어볼 만하다. 그 연구에서는 실제로 서로 다른 모델(Bard와 ChatGPT) 간의 토론이 같은 모델의 복제본끼리 벌인 토론보다 더 많은 오류를 잡아냈는데, 서로 다른 모델은 같은 맹점을 공유하지 않기 때문이었다. 같은 모델을 다시 굴리는 것 — 활용 가능한 다양성 중 가장 약한 형태 — 만으로도 이 정도로 큰 효과가 난다면, 실제로 서로 독립적인 모델들에 질문하는 것이 그 효과를 희석하기보다는 오히려 증폭시키리라고 기대하는 것은(이 논문 자체가 검증한 바는 아니지만) 합리적인 추론이다.

실무에서의 의미

여기서 핵심 발견은 "더 큰 모델을 써라"가 아니다. 단일 모델에 단 한 번만 질문하는 방식은 — 모델 크기와 무관하게 — 특히 어려운 문제에서 얻을 수 있었던 정확도를 놓치고 있다는 것이다. 하나의 답에 정착하기 전에 독립적인 시도를 여러 번 확보하는 것은, 단순히 노이즈를 더하는 게 아니라 실질적인 효과를 낸다.

실제로 어떻게 적용할지는 모범 사례 가이드를 참고하라. 하나의 질문을 여러 모델에 동시에 던지고 답변을 비교하는 것은, 이 논문이 하나의 모델을 40번 굴려서 보여준 것과 같은 원리를, 처음부터 다양성을 갖춘 형태로 실행하는 것이다.

참고문헌

• Li, J., Zhang, Q., Yu, Y., Fu, Q., & Ye, D. (2024). More Agents Is All You Need. Transactions on Machine Learning Research. arXiv:2402.05120.