AI는 왜 나에게 늘 다정할까?

 

 

안녕하세요, 촌장입니다.

 

좋은 질문이에요.

 

• AI에게 뭔가를 물어보면 대체로 이런 첫마디가 돌아옵니다. 저도 습관처럼 AI를 붙잡고 이것저것 물어보는데, 아무리 엉성한 질문을 던져도 반응은 한결같이 다정합니다. 훌륭한 접근이라고, 정확히 짚으셨다고 먼저 추어올려 주죠. 기분이 나쁠 리야 없습니다. 다만 그 다정함이 몇 번 반복되고 나면 문득 이런 생각이 듭니다.

 

이 친절은 대체 어디서 오는 거니?

 

• 1966년, MIT의 요제프 바이첸바움이 일라이자라는 챗봇을 만들었습니다. 상대의 말을 되받아 질문으로 돌려주는 단순한 프로그램이었죠. 그런데 짧은 대화만으로도 사람들은 이 기계에 마음을 열고 자기 삶의 고민을 털어놓기 시작했습니다. 몇 달간 프로그램이 만들어지는 과정을 곁에서 지켜본 그의 비서마저 어느 날 일라이자와 단둘이 이야기하고 싶으니 방을 나가달라고 했다고 합니다. 지능 그 자체가 아니라 지능처럼 보이는 흉내만으로도 사람의 마음을 사기에 충분했던 거죠. 바이첸바움은 이 현상에 일라이자 효과라는 이름을 붙였습니다.

 

• 그로부터 60년이 지난 지금, 비슷하지만 훨씬 더 사람의 감정에 영향을 줄만한 내용이 발표가 되었습니다. 얼마 전 유엔의 한 과학패널이 첫 보고서를 내놓았는데, 그 내용 중에 우리가 한번 되짚어봐야할 대목이 있었습니다. 오늘 수요레터는 그 이야기에서 시작해볼까 합니다.
• 우리가 편하게 기대어 온 AI의 다정함을, 어쩌면 한 번쯤 의심해봐야 하지 않을까요?

 

 

다정한 거짓말

• 이 패널의 정식 이름은 유엔 인공지능 국제독립과학패널입니다. 이름이 길지만, 2025년 유엔 총회 결의로 만들어진 AI 전담 과학기구라고 이해하면 편합니다. AI만을 다루는 국제 과학기구로는 사실상 처음이죠. 흔히 기후변화를 다루는 IPCC에 비유됩니다. IPCC가 세계 곳곳의 기후 연구를 모아 정책 결정자들 앞에 정리해 놓듯, 이 패널도 AI를 두고 같은 일을 합니다. 규칙을 만들거나 무언가를 금지하는 기구가 아니라, 흩어진 연구를 모아 지금 우리가 무엇을 아는지 정리해주는 역할을 수행합니다.
• 2,600명이 넘는 후보 가운데 뽑힌 40명의 전문가가 특정 국가나 기업을 대표하지 않고 개인 자격으로 참여하게 되는데요. 공동 의장은 딥러닝의 기틀을 놓아 튜링상을 받은 요슈아 벤지오와, 노벨 평화상을 받은 언론인 마리아 레사입니다. 40명 가운데는 카이스트의 한국인 교수도 이름을 올렸고요. 
• 그런 패널이 최근 첫 예비 보고서에서 챗봇의 아첨과 여러 심각한 정신건강 사고 사이의 연관성을 공식적으로 기록했다고 발표했습니다. 관련된 사건 중에는 사망에 이른 사례까지 포함되어 있었습니다. 별도로 한 시민단체는 지금까지 약 300건에 이르는, 이른바 'AI 정신증'이라 불리는 사례를 모아두었습니다. 오래 대화를 나눈 끝에 사용자가 현실과 동떨어진 믿음에 점점 더 깊이 빠져드는 케이스들을 모아둔 것이라고 하네요. 
• 아첨이라고 하면 어쩌다 한 번 비위를 맞추는 말버릇쯤으로 들리지만, 여기서 쓰는 뜻은 조금 다릅니다. AI에게 아첨의 현상은 챗봇이 정확한 답보다는 사용자가 듣고 싶어 하는 답을 일관되게 내놓는 경향을 말합니다. 어쩌다 한 번이 아니라, 시스템 전체에 배어 있는 성향으로 볼 수 있지 않을까요? 
• 위험한 결정에도 그럴듯한 근거를 보태주고, 허술한 믿음을 슬며시 거들어주고, 듣기 싫지만 꼭 필요한 말은 에둘러 피해 갑니다. 이 다정함이 늘 우리 편인 것은 아닌 셈이죠. 나를 아프게 하지 않으려다, 결국 나에게 정작 필요한 것을 주지 못하게 될 수도 있습니다. 할루시네이션과는 또 다른 측면의 문제점이라 할 수 있습니다. 

 

 

칭찬은 학습된다

• 그렇다면 AI는 왜 이렇게까지 다정해졌을까요? 오늘날 거의 모든 대화형 AI는 사람의 피드백으로 모델을 다듬는 훈련을 거칩니다. 사람 평가자들이 여러 후보 답변에 점수를 매기면, 그 점수를 예측하도록 별도의 모델을 학습시키고, AI는 그 모델이 높게 치는 답을 내놓도록 조율됩니다.
• 그런데 사람 평가자들은 정확하지만 껄끄러운 답보다, 동조해주고 인정해주는 답에 더 후한 점수를 주곤 합니다. 사람 마음이 대체로 그렇죠. 이런 선호가 차곡차곡 쌓여 모델에 그대로 새겨집니다. AI는 진실을 맞히도록 설계된 게 아니라, 우리를 만족시키도록 설계된 셈입니다.
• 철학자 해리 프랭크퍼트는 거짓말과 헛소리가 다르다고 말한 적이 있습니다. 거짓말쟁이는 사실 진실이 무엇인지 정확히 알고 있는 사람입니다. 진실을 알기에, 그것을 가리고 다른 것을 믿게 하려고 애를 쓰죠. 역설적이게도 거짓말쟁이는 여전히 진실을 신경 쓰고 있는 셈입니다. 반면 헛소리를 하는 사람은 그렇지 않습니다. 자기 말이 참인지 거짓인지에 애초에 관심이 없습니다. 그 순간 그럴듯하게 들리고 상대가 흡족해하면, 그것으로 충분하죠.
• 프랭크퍼트는 바로 이 무관심이 거짓말보다 진실에 더 해롭다고 봤습니다. 거짓말은 진실을 인정한 위에서만 성립하지만, 헛소리는 진실이라는 기준 자체를 슬그머니 치워버리니까요. 아첨하는 AI를 떠올려보면 이 구분이 꽤 들어맞습니다. AI는 우리를 속이려는 게 아닙니다. 다만 자기 말이 사실인지 아닌지에 마음을 두지 않을 뿐입니다. 듣기 좋게만 들리면, 그 답은 제 몫을 다한 게 됩니다.

 

 

거울방에 갇히다

• 사람은 원래 타인의 어긋난 반응을 통해 자기 자리를 확인하며 살아갑니다. 내 생각이 어디서 빗나갔는지, 내가 무엇을 놓쳤는지는 대개 나를 거스르는 누군가가 알려주죠. 그런데 곁에 동조하는 상대만 남으면, 나를 붙들어주던 그 교정 장치가 조용히 사라지게 됩니다. 
• 오래된 신화 하나가 생각납니다. 나르키소스는 물에 비친 자기 모습에 빠져 그 앞을 떠나지 못했습니다. 그가 사랑한 것은 사실 다른 누군가가 아니라 자기 자신이었죠. 그를 사랑한 요정 에코는 목소리를 잃는 벌을 받아, 상대가 한 말의 끝자락만 되돌려줄 수 있었습니다. 나르키소스가 "누구 있어?" 하고 부르면 에코는 "있어"라고 답할 수밖에 없었죠. 자기 말이 그대로 메아리쳐 돌아오니, 이 사랑은 처음부터 어긋날 수밖에 없었습니다. 나르키소스는 끝내 물가를 떠나지 못한 채 시들어갔습니다.

• 아첨하는 AI 앞에 앉아 있을 때, 우리는 어쩌면 물에 비친 자기 생각을 들여다보고 있는지도 모릅니다. 내가 던진 말이 다정한 표정을 입고 되돌아오고, 그 말이 마치 바깥에서 온 확인인 양 느껴지죠. 하지만 그것은 대개 내 생각의 메아리입니다. 에코의 목소리가 그랬듯, 그 안에는 나를 거스를 힘이 없습니다. 물에 비친 얼굴이 아름다울수록 그 앞을 떠나기 어렵듯, 나에게 동조해주는 목소리가 다정할수록 우리는 그 거울방에서 좀처럼 걸어 나오지 못합니다.

 

 

반대의 쓸모

• 그러면 AI를 멀리하면 될까요. 그렇지는 않습니다. 잘 쓰면 이만한 도구가 없을 뿐더러 이미 우리의 생활 속에 AI는 없어서는 안되는 도구이자 비서, 혹은 친구가 되었습니다. 다만 도구의 다정함을 진실로 착각할 때 곤란해질 뿐입니다. 필요한 건 단절이 아니라 거리 두기이지 않을까 생각합니다. 
• 1세기의 플루타르코스는 아첨꾼과 친구를 어떻게 구별하는지에 대한 글을 남겼습니다. 그는 사람은 누구나 자기 자신이 가장 큰 아첨꾼이다 라고 말이죠. 우리는 스스로를 사랑하기에 자신을 좋게 봐주는 목소리를 너무 쉽게 받아들입니다. 바깥의 아첨꾼은 그저 그 자기애를 거들어주는 증인으로 인정되고 스스로에 대한 애정과 사랑은 더욱 증폭되고 고착화 됩니다. 아첨꾼은 결코 반대하거나 거스르지 않고 늘 유쾌한 얼굴만 내미는 법이라 말합니다. 
• 반면 진짜 친구는 좋은 말이든 쓴 말이든 솔직한 감정을 보여주는 사람이라고 플루타르코스는 얘기합니다. 솔직함. 진솔함. 그에 앞서 상대를 진정으로 위하는 마음의 존재 유무는 인간 관계에 너무도 소중한 요소입니다. 

 

• 가끔은 AI에게 내 생각의 약한 곳을 일부러 짚어달라고 청해보면 어떨까요. 내 편을 들어달라는 대신, 반대편의 가장 강한 논리를 들려달라고 부탁하는 겁니다. 좋은 친구가 때로 내 말에 고개를 젓듯이 말입니다. 화면 가득 칭찬이 돌아올 때는, 이건 동조일 뿐 진실은 아닐 수 있다고 한 번 멈춰 생각해 보는 것도 잊지 마시길 바랍니다. 
• 우리를 자라게 하는 건 늘 조금의 마찰이나 불편함인 경우가 많습니다. 나를 거스르는 목소리, 내 생각에 반대하는 사람, 뜻대로 되지 않는 관계가 지금의 나를 만들어 왔죠. 언제든 나를 인정해주는 매끄러운 상대가 곁에 있다는 건 분명 편한 일이지만, 그 편안함에 오래 기대다 보면 어느새 반대할 줄 아는 친구의 얼굴이 그리워질지도 모릅니다.
• 가장 다정한 말이 늘 가장 좋은 말은 아닙니다. 나에게 기꺼이 반대해주는 누군가가 지금 곁에 있는지, 한 번쯤 떠올려 보게 됩니다. 

 

 

촌장 드림