AI가 자기 자신의 답변을 채점하면 안 되는 이유

2025년에 발표된 한 연구의 실험 사례를 소개한다. 사용자가 두 AI 어시스턴트에게 똑같은 단순한 질문을 던졌다. "파란색인 물건들을 나열해줘." GPT-3.5-Turbo는 그냥 목록을 나열했다 — 청바지, 블루베리, 백팩 등 총 10개 항목. GPT-4는 "저는 언어 모델이므로 주변의 실제 물건을 볼 수 없습니다"라는 면책 문구로 시작한 뒤, 자기 나름의 10개 항목을 나열하고 사용자에게 확인을 요청했다. 두 목록 모두 합리적이었다. 인간은 직접적인 답변을 선호했다. GPT-3.5-Turbo가 스스로 이 둘을 판정했을 때도, 직접적인 답변을 선호했다.

그런데 같은 쌍을 GPT-4가 판정하자, GPT-4는 자기 자신의 답변을 선택했다.

이 현상의 이름: 자기 선호 편향

이를 자기 선호 편향(self-preference bias)이라 부른다. 두 답변 중 어느 쪽이 더 나은지 판정하라고 했을 때, 모델이 독립적인 평가자보다 자기 자신의 출력을 더 후하게 평가하는 경향을 말한다. 이는 학술 벤치마크에만 국한된 문제가 아니다 — 단일 AI에게 자기 자신의 추론을 다시 확인하게 하거나, 자기 초안을 비평하게 하거나, 혹은 단순히 AI 자신의 확신을 그대로 신뢰할 때마다 이 문제는 실제로 발생한다.

연구 내용

SB Intuitions의 연구자들 — Koki Wataoka, Tsubasa Takahashi, Ryokan Ri — 는 2025년Self-Preference Bias in LLM-as-a-Judge를 발표하며, 다음과 같은 문제를 직접 제기했다.

"자기 선호 편향을 정량적으로 측정하는 확립된 방법이 부족하며, 그 근본 원인 역시 제대로 밝혀지지 않았다."

연구팀은 알고리즘 공정성 연구에서 "기회 균등(Equal Opportunity)"이라는 개념을 빌려왔다. 원래는 분류기가 서로 다른 인구통계 그룹을 일관되게 대우하는지 확인하는 데 쓰이는 지표지만, 이를 모델이 자기 자신의 출력과 다른 이들의 출력을 어떻게 다르게 대우하는지 비교하는 데 재활용했다. Chatbot Arena 데이터셋(3만 3천 건의 실제 대화, 각각 AI 응답 쌍과 어느 쪽이 더 나은지에 대한 인간의 판정 포함)을 사용해, 8개의 서로 다른 LLM에게 인간이 이미 채점한 것과 동일한 쌍을 판정하게 한 뒤, 각 모델의 자기 평가가 인간의 판단으로부터 얼마나 벗어나는지를 측정했다.

발견한 것

모델별 자기 선호 편향 점수(0 = 편향 없음, 1에 가까울수록 자기 자신을 강하게 선호):

• GPT-4 — 0.52
• Vicuna-13B — 0.25
• Koala-13B — 0.15
• GPT-3.5-Turbo — 0.03
• Vicuna-7B — 0.05
• oasst-pythia-12B, dolly-v2-12B, stablelm-tuned-alpha-7B — 소폭 마이너스(오히려 자기 답변을 다소 가혹하게 채점하는 경향)

GPT-4의 혼동 행렬은 이 수치를 구체적으로 보여준다. 인간이 GPT-4의 답변을 더 나은 쪽으로 판정했을 때, GPT-4 역시 94.5%의 확률로 동의했다. 반면 인간이 GPT-4의 답변을 더 나쁜 쪽으로 판정했을 때도, GPT-4는 여전히 42.5%의 확률로 자기 자신의 편을 들었다 — 독립적인 판정자가 이미 오답이라고 판단한 사례에서 거의 동전 던지기에 가까운 수치다.

원인은 자존심이 아니라 익숙함이다

더 유용한 발견은 왜 그런가이다. 연구팀은 모델이 퍼플렉시티(perplexity)가 낮은 텍스트 — 모델 자신에게 더 예측 가능하고 "유창하게" 느껴지는 텍스트 — 를 선호할 것이라는 가설을 세우고 직접 검증했다. 연구 대상이 된 거의 모든 모델에서, 평가 점수는 그 텍스트가 자기 생성인지 여부보다 퍼플렉시티와 훨씬 더 밀접하게 연동되어 있었다.

"LLM은 자기 생성 여부와 무관하게, 인간 평가자보다 퍼플렉시티가 낮은 출력에 유의미하게 더 높은 평가를 부여한다. […] 자기 선호 편향이 존재하는 이유는 LLM이 자신에게 더 친숙한 텍스트를 선호하기 때문이다."

다시 말해, 모델은 (의식적으로) 자기 자신을 응원하는 것이 아니다. 자기가 할 법한 말처럼 들리는 것을 응원하는 것이며, 자기 자신의 글은 정의상 바로 그런 것이다. 이 논문은 이 편향이 추적하는 것이 사실적 정확성이 아니라 문체라는 점을 신중하게 짚는다 — 앞서 나온 "파란색 물건" 예시에서 두 답변 모두 틀리지 않았다. GPT-4는 그저 자기 자신의 "전제를 달고 확인을 요청하는" 습관을 더 높은 품질의 선택으로 평가했을 뿐이다. 품질 판단으로 포장된 정책적 선호에 불과하다.

이것이 실제 AI 사용 방식에 의미하는 바

이 논문이 제안하는 해결책이야말로 곱씹어볼 가치가 있다.

"가능한 접근법 중 하나는 여러 모델을 활용한 앙상블 평가다 […] 이 방법은 단일 모델에 대한 의존을 피함으로써 더 공정한 평가를 제공할 것으로 기대된다."

이는 "더 똑똑한 모델을 써라"는 말이 아니다. "같은 사각지대를 공유하지 않는, 진짜로 다른 모델"로 평가하라는 말이다. 단일 AI가 자기 작업을 스스로 점검한다는 것은, 외부 기준이 아니라 자기 자신의 습관을 기준으로 채점한다는 뜻이다. 자신의 전제, 자신의 문체적 습관, 자신에게 편안한 표현을 애초에 하나의 "선택"으로조차 인식하지 못한다 — 그 모델에게는 그것이 그저 명백히 옳은 답으로 보일 뿐이다.

단일 AI에게 자기 숙제를 스스로 채점하게 하는 대신, 여러 독립적인 모델을 같은 대화에 함께 두는 것 — 이것이 바로 Parley 전체의 근본 전제다. 실제로 어떻게 구성하면 되는지(어떤 프로바이더를 조합해야 하는지, 단일 모델의 자기 평가가 가장 신뢰할 수 없는 신호가 되는 지점은 어디인지)는 모범 사례 가이드를 참고하라 (Research Room의 자기 보고 신뢰도 점수는 바로 이 편향이 실제로 나타나는 구체적인 사례이며, 그래서 화면에서 가장 신뢰할 수 없는 수치로 취급된다).

출처

• Wataoka, K., Takahashi, T., & Ri, R. (2025). Self-Preference Bias in LLM-as-a-Judge. arXiv:2410.21819.
• Zheng, L. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena — 위 연구에서 사용된 Chatbot Arena 데이터셋의 출처.