AI에게 상담해도 불안이 남는 이유는, 물어본 상대가 하나뿐이기 때문일지도 모릅니다

최근에 정말 고민했던 일을 떠올려 보세요. 이직을 할지 말지. 한동안 연락이 끊긴 친구와의 관계. 리모델링 견적이 적절한지. 아마 한 사람에게 묻고 끝내지는 않았을 겁니다. 친구에게 묻고, 누나에게 묻고, 같은 일을 겪어본 회사 사람에게도 물었겠죠. 첫 번째 사람이 거짓말을 한다고 생각해서가 아니라, 답 하나만으로는 움직이기에 부족했기 때문입니다.

이건 누가 가르쳐준 행동이 아닙니다. 중요한 질문 앞에서 사람은 자연스럽게 그렇게 합니다. 그리고 그때 자신이 실제로 무엇을 듣고 있었는지 떠올려 보세요. 누가 뭐라고 했는지의 집계가 아닙니다.의견이 갈린 지점입니다. 친구는 가라고 했고 누나는 말끝을 흐렸다. 그 망설임이 쓸모 있었습니다. 진짜 쟁점이 어디에 있는지 알려줬으니까요.

그렇다면 마지막으로 AI에게 중요한 것을 상담했을 때는 어땠나요. 거의 틀림없이 하나에게 물었을 겁니다. 답을 읽고, 그럴듯하다고 느끼고, 거기서 끝났습니다. 사람에게는 자동으로 쓰는 습관을 AI에게는 전혀 쓰지 않습니다.

완성된 글처럼 보이니, 완성된 답으로 취급하게 됩니다

이유 중 하나는 겉모습입니다. 사람은 말끝을 흐립니다. "아마"라고 덧붙이고, 확신이 없다고 말합니다. 이건 단순한 모호함이 아니라 실제로 기능합니다. 방금 들은 이야기에 얼마나 무게를 둬야 하는지 알려주니까요.

AI의 답변에는 그게 없습니다. 유창하고, 구조화되어 있고, 제목이 정돈되어 있고, 깔끔한 결론이 붙습니다. 선택지를 충분히 검토한 과정의 출력처럼 읽힙니다. 실제로 그랬을 때도 있습니다. 그저 당신의 질문에 가장 그럴듯하게 이어지는 문자열을 만들어낸 것뿐일 때도 있습니다.밖에서 보면 이 둘은 구별되지 않습니다. 답변 안에 구별할 단서가 들어 있지 않기 때문입니다.

"AI의 답을 곧이곧대로 받아들이지 말라"는 조언은 바로 이것을 가리킵니다. 지적으로는 맞지만 실행하기는 어렵습니다. 의심할 구체적인 이유를 하나도 주지 않는 것을 의심하라고 하니까요. "회의적이어라"는 방법이 아닙니다.

한 모델의 답이 보이는 것만큼 안정적이지 않은 세 가지 이유

같은 질문에도 답이 달라질 수 있습니다.같은 것을 표현만 조금 바꿔 두 번 물으면, 서로 다른 방향을 가리키는 조언이 돌아오기도 합니다. 어느 쪽이 고장 난 게 아니라, 이 시스템들이 "가능한 답변의 폭"에서 표본을 뽑기 때문입니다. 한 번만 본 상태에서는, 내가 받은 게 그 폭의 한가운데인지 끝자락인지 알 방법이 없습니다.

모델은 당신에게 동의하는 경향이 있습니다.내가 고르고 싶은 쪽이 좋게 들리도록 상황을 설명하면, 그 선택지가 좋아 보인다는 답이 돌아올 가능성이 큽니다. 악의가 아니라, 도움이 되고 기분 좋게 응답하도록 훈련한 데 따른 부작용으로 잘 알려져 있습니다. 즉 반론이 가장 필요한 순간, 이미 반쯤 마음을 정하고 스스로를 점검하고 싶은 순간이야말로 하나의 모델이 반론을 가장 주지 않는 순간이라는 뜻입니다.

어떤 모델에게나 각자의 사각지대가 있습니다.모델은 서로 다른 팀이, 서로 다른 데이터로, 좋은 답이 무엇인가에 대한 서로 다른 생각을 가지고 만듭니다. 대부분의 질문에서는 크게 겹칩니다. 겹치지 않는 질문에서는 그 차이가 대개 뭔가 실질적인 것을 가리킵니다. 큰 역할을 하고 있는 전제라든가, 깔끔한 답이 없는 트레이드오프라든가. 하나에게만 물으면 그 신호는 도달하지 않습니다. 사각지대까지 다른 부분과 똑같이 자신 있는 어조로 건네질 뿐입니다.

또 하나의 조용한 문제. 하나의 목소리에 기대게 됩니다

비용이 하나 더 있습니다. 이쪽은 천천히 쌓여서, 대개 나중에야 알아차립니다. 하나의 정보원이 유일한 정보원이 되면, 그건 정보원으로 느껴지지 않게 됩니다. 답으로 느껴지기 시작합니다.

자신의 AI 사용에 대해 쓴 글들을 읽어 보면 이 현상이 반복해서 나옵니다. 이야기의 형태는 대체로 같습니다. 작은 것을 묻는 데서 시작했다, 실제로 도움이 됐다, 점점 큰 것도 묻게 됐다, 그리고 어느 시점에 자기 생각을 먼저 갖지 않게 됐다는 걸 깨달았다. 물으러 가서 답을 듣는 형태가 되어 있었다. 이 깨달음은 대개 불편하고, 대개 몇 달이 지난 뒤에 찾아옵니다.

그걸 가능하게 한 건 AI가 틀렸다는 사실이 아닙니다. 대부분 내용은 멀쩡했습니다.그게 하나뿐이었다는 것입니다. 일관된 하나의 목소리가 언제나 쓸 수 있고 눈에 띄게 망설이지도 않는다면, 그건 사람이 의도치 않게 기대기에 딱 알맞은 모양입니다.

이 문제는 정확성 문제와 나눠서 생각할 가치가 있습니다. 대처법이 다르기 때문입니다. 정확성은 사실을 확인하면 고쳐집니다. 이쪽은 구조로 고쳐집니다.눈앞에서 세 모델이 의견을 달리하고 있을 때, "AI는 이렇게 말한다"에 판단을 맡기기는 꽤 어렵습니다.의견이 갈리면 결정은 원래 자리, 즉 당신에게 돌아옵니다. 애초에 거기 말고는 둘 곳이 없었습니다.

여럿에게 물으면 실제로 무엇이 달라지나

알기 쉬운 이점은 예상대로입니다. 독립적인 여러 모델이 같은 결론에 도달했다면, 그 답이 "어쩌다 한 모델의 표현이 만들어낸 산물"은 아니라는 정도의 근거는 됩니다. 나름의 가치가 있습니다. 어느 정도인지는 뒤에서 다룹니다.

알기 어려운 쪽의 이점이 사실 더 중요합니다. 그리고 그건 친구와 누나에게 물었을 때 얻은 것과 같습니다.의견이 갈린 지점이 진짜 쟁점을 알려줍니다.

다른 도시의 일자리를 받아야 할지 세 모델에게 물으면, 대부분은 일치하고 한 가지에서만 갈리는 경우가 많습니다. 이사 자체와 일의 내용 중 어디에 얼마나 무게를 둘 것인가. 이 갈림은 평균을 내어 지워야 할 잡음이 아닙니다. 그것이 의사결정 그 자체이고, 잘라내어 눈앞에 놓인 상태입니다."이 일을 받아야 하나"라는 질문으로 들어가서, "나는 이사를 얼마나 싫어하는가"가 진짜 질문이라는 걸 알고 나옵니다. 뒤쪽은 당신만 답할 수 있는 질문이지만, 이제 맴돌지 않고 바로 답할 수 있습니다.

같은 것을 한 모델에게 물으면, 두 쟁점을 모두 언급하면서 균형 잡힌 어조로 한쪽에 살짝 기운 문단이 돌아옵니다. 읽고, 고개를 끄덕이고, 정작 자신이 어디에서 막혀 있었는지는 모른 채입니다.

여럿에게 물어도 해결되지 않는 것

여기서 끝내면 모양은 좋겠지만, 그건 오해를 부릅니다.여러 모델에게 묻는 것은 검증 방법이 아닙니다. 이유를 분명히 해둘 가치가 있습니다.

모델들은 크게 겹치는 데이터로 훈련됩니다. 인터넷에서 널리 반복되면서 동시에 널리 틀린 주장에 대해서는, 여러 모델이 나란히 자신 있게 반복할 수 있습니다. 이 경우의 일치는 독립적인 뒷받침이 아니라 같은 출처를 공유하고 있을 뿐입니다. 이것이 가장 중요한 한계이며, 일치가 "확실성을 조금 올리는 재료"일 뿐 "결론"은 아닌 이유입니다.

당신의 상황에만 있는 일에도 크게 도움이 되지 않습니다. 모델을 몇 개 늘어놓아도 당신의 가계도, 병력도, 상사가 실제로 어떤 사람인지도 모릅니다. 그것들에 대해 생각하는 걸 도울 수는 있어도, 알 수는 없습니다.

그리고 의료, 법률, 돈처럼 정말 무거운 질문에서 이것은 전문가를 대신하지 못합니다. 여러 AI가 계약 조항에 대해 같은 해석을 내놓아도 그건 여러 AI이지 변호사가 아닙니다. 솔직하게 말하면, 여러 모델은 더 잘 다듬어진 질문과, 불확실성이 어디에 있는지에 대한 감을 줍니다. 전문가에게 돈을 쓰기 전에 도달해 두면 유익한 지점이고, 걸린 것이 클 때 멈춰도 되는 지점은 아닙니다.

실제로 해보려면

오늘부터 수작업으로도 할 수 있습니다. 탭을 세 개 열고, 같은 질문을 붙여넣고, 세 개의 답을 읽고, 직접 비교하는 것. 작동은 합니다. 그리고 거의 아무도 지속하지 못한다는 사실이 그 수고의 크기를 말해줍니다. 결국 비교를 머릿속에서 하게 되는데, 그게 바로 도움받고 싶었던 작업입니다.

다른 방법은 모델들을 같은 대화에 넣고 비교 자체를 모델에게 시키는 것입니다. 서로의 답이 보이는 상태라면, 이견이 있는 모델은 그렇다고 말하고 이유도 댑니다. 세 덩어리의 글에서 직접 재구성하지 않아도 갈림이 그 자리에서 드러납니다. Parley는 그걸 위한 도구입니다. 하나의 Room에 여러 AI 모델이 있고, 질문을 세우고 마지막에 정하는 건 사람입니다.

테스트용 질문이 아니라 진짜 고민으로 시험해 보려면,모범 사례 가이드에 어떤 질문이 여러 모델의 덕을 보기 쉽고 어떤 질문은 시간 낭비인지 정리해 두었습니다. 짧게 말하면, 진짜 트레이드오프가 들어 있는 질문은 잘 맞고, 정답이 하나뿐인 질문에는 추가 의견이 별로 필요 없습니다.

어느 쪽이든 핵심은 습관 쪽입니다. 방법은 이미 알고 있습니다. 두 번 물어볼 가치가 있는 질문일 때, 사람에게는 늘 그렇게 하고 있으니까요.

함께 읽어볼 글

• ChatGPT에 고민을 계속 상담한 지 4개월, "아, 위험할지도"라고 생각한 이야기(라이프해커 재팬) — 본문에서 다룬 의존 문제에 대한 1인칭 기록.
• AI가 자기 자신의 답변을 채점하면 안 되는 이유— 모델이 자기 답변의 평가자로 적합하지 않은 이유에 대한 연구.