💰중고거래 AI 에이전트의 딜레마

안녕하세요, 촌장입니다.

 

• 지난 주에도 AI 분야에서는 참 많은 일이 있었지만, 가장 흥미로웠던 것은 앤트로픽이 진행한 사내 실험의 공개였습니다. 이름하여 ‘프로젝트 딜(Project Deal)’.
• 사내의 직원 69명에게 각자 100달러 예산을 쥐여주고, 사내 중고 거래 마켓에서 일주일 동안 물건을 사고팔게 했습니다. 단, 협상은 사람이 직접 하지 않습니다. 각자의 AI 에이전트가 대신합니다. 슬랙 채널 위에서 AI들끼리 알아서 흥정하고, 가격을 맞추고, 거래를 마무리하죠.
• 그렇게 일주일 동안 186건의 거래가 이뤄졌고, 참가자의 46%는 “돈을 내고라도 이런 서비스를 쓰고 싶다”고 답했습니다.
• 여기까지는 그저 AI 에이전트의 중고거래 성능 실험처럼 보입니다. 그런데 이 실험에는 직원들이 모르는 두 번째 실험이 숨어 있었습니다. 이게 진짜 실험의 목적이었죠. 
• 오늘 수요레터에서는 이 ‘프로젝트 딜’이 우리에게 던지는 묵직한 질문에 대해 이야기해 보려 합니다.
• AI 에이전트의 결과를 우리는 얼마나 신뢰할 수 있을까. 만족의 기준은 누가 정하는가. 그리고 인간의 의지와 AI를 어떻게 정렬시킬 것인가 라는 질문들이죠.
• 자, 그럼 시작해 볼까요?

 

 

비밀 실험: 강한 AI vs 약한 AI

• 앤트로픽은 참가자 몰래 마켓을 네 개로 쪼갰습니다. 두 개의 마켓에서는 모두에게 강한 모델인 클로드 오푸스(Opus) 4.5를 붙여줬고, 다른 두 개의 마켓에서는 절반에게는 오푸스, 나머지 절반에게는 작고 가벼운 모델인 클로드 하이쿠(Haiku) 4.5를 붙여줬습니다. 누가 어떤 모델을 받았는지는 본인도, 거래 상대방도 알지 못하게 했구요.
• 결과는 어땠을까요?
• 오푸스를 쓴 사람들이 평균 두 건 정도 더 많은 거래를 성사시켰습니다. 같은 물건을 팔 때, 오푸스 에이전트가 대리한 판매자는 평균 2.68달러를 더 받았고, 살 때는 2.45달러를 덜 냈습니다. 어떤 망가진 접이식 자전거는 오푸스가 대리하니 65달러에 팔렸는데, 같은 자전거를 하이쿠가 대리하니 38달러에 팔렸다고 합니다. 실험실 루비도 오푸스 손에서는 65달러, 하이쿠 손에서는 35달러였습니다.
• 여기까지는 어쩌면 당연한 결과일 수도 있겠죠. 더 똑똑한 AI가 더 좋은 거래를 따낸다 라는.

 

 

손해 보고도 ‘공정했다’고 느낀 사람들

• 실험이 끝난 뒤 참가자들에게 물었습니다.

 

“당신의 거래가 얼마나 공정했다고 느끼시나요? 1점부터 7점까지 매겨주세요.”

 

• 오푸스 사용자들의 평균 점수는 4.05점. 하이쿠 사용자들의 평균 점수는 4.06점. 거의 동일했습니다.
• 그러니까 약한 모델을 쓴 사람들은 분명히 손해를 보고 있었지만, 정작 본인들은 “꽤 공정한 거래였다”고 느끼고 있었던 겁니다.
• 심지어 두 모델을 모두 경험한 28명 중에서 17명은 오푸스 쪽 거래가 더 좋았다고 답했지만, 11명은 하이쿠 쪽 거래가 더 좋았다고 답했습니다. 객관적인 손해와 주관적인 만족이 어긋나 있는 거죠.
• 앤트로픽은 이를 불편한 함의(uncomfortable implication)라고 표 현합니다. 만약 이런 ‘에이전트 격차’가 현실 시장에서 벌어진다면, 손해를 보는 쪽은 자신이 손해를 보고 있다는 사실조차 모를 수 있다는 거죠.

 

 

‘에이전트가 대신하는 세상’의 불편한 진실

• AI가 점점 더 우리를 ‘대리’하기 시작할 때, 우리는 무엇을 잃게 될까요?
• 전통적인 시장에서는 협상의 우위가 비교적 잘 ‘보입니다’. 누가 말솜씨가 좋은지, 누가 정보를 더 많이 갖고 있는지, 누가 더 경험 많은 흥정꾼인지. 가격을 깎아주는 사장님 앞에서 우리가 우물쭈물하면, 적어도 우리는 ‘아, 내가 협상에 약하구나’를 느낄 수 있죠. 그러면 다음번에는 친구를 함께 데리고 가게 만들고, 검색을 더 해보게 만들고, 가격 비교를 하게 만들죠.
• 그런데 AI 에이전트가 대리하는 시장에서는 그 ‘자각’이 사라집니다. 모든 협상은 매끈한 인터페이스 뒤에서 이루어지고 내 에이전트가 어떤 표현으로 흥정했는지, 상대가 어떻게 받아쳤는지, 왜 이 가격에 합의했는지. 우리가 보는 건 결과 하나뿐입니다. ‘거래가 성사되었습니다.’ 라는.
• 문제는 그 결과가 너무 깔끔해 보인다는 데 있습니다. 그래서 우리는 “꽤 좋은 거래였네”라고 느끼고 만족합니다. 실제로는 상대적인 손해를 보았다는 사실을 전혀 알지 못한 채 말이죠.
• 흥미로운 사실 하나는, 앤트로픽 실험에서 참가자들이 “공격적으로 흥정하라”고 지시하든, “친절하게 협상하라”고 지시하든, 결과에는 통계적으로 유의미한 차이가 없었다는 점입니다. 진짜 차이를 만든 건 사용자의 지시가 아니라 ‘어떤 모델을 썼느냐’였습니다. 그러니까 좋은 결과를 내는 변수는 점점 더 ‘우리 손’이 아니라 ‘우리가 어떤 도구를 살 수 있느냐’로 옮겨가고 있는 거죠. 

  

  

앤트로픽이 하고 싶었던 이야기

• 이 실험을 정리하며 앤트로픽이 던진 메시지는 두 가지입니다.
• 하나는 가능성에 대한 이야기입니다.
• AI 에이전트가 우리를 대신해 거래하는 시장은 더 이상 먼 미래가 아니라, 충분히 현실 가능한 풍경이라는 것. 친구들과 중고 거래를 하는 일에서부터 회사 간의 계약, 어쩌면 부동산이나 금융 거래까지. AI가 ‘대리’할 수 있는 영역은 빠르게 넓어질 것이라는 진단이죠.
• 다른 하나는 우려에 대한 이야기입니다.
• 에이전트의 성능 격차가 시장에 들어오는 순간, 그 격차는 기존의 경제적 불평등을 그대로 옮겨오는 것을 넘어, 오히려 더 강화하거나 심화시킬 수 있다는 점. 더 좋은 모델을 ‘살 수 있는  사람’과 그렇지 못한 사람 사이의 거리가 점점 더 벌어질 수 있다는 거죠. 그런데 그것을 다루는 정책적·법적 틀은 아직 어디에도 없다고 앤트로픽은 말합니다. 그러니 사회가 이런 상황을 대비해서 빠르게 움직여야 한다고요.
• 요약하자면, 앤트로픽의 메시 지는 이런 셈입니다. AI 에이전트의 시대는 곧 옵니다. 하지만 그 시대가 가져올 새로운 종류의 격차에 대해, 우리는 아직 어떤 준비도 되어 있지 않다는 사실 말이죠. 

 

 

세가지 질문들

• 앤트로픽의 프로젝트 딜은 이런 질문들을 떠오르게 합니다.

 

질문 하나. AI 에이전트의 결과를 우리는 얼마나 신뢰할 수 있을까?

• 이번 실험에서 강한 모델과 약한 모델 사이의 차이는 평균 2~3달러 수준이었습니다. “고작 그 정도?”라고 생각할 수도 있겠죠. 하지만 이것이 부동산 협상이라면, 보험료 산정이라면, 연봉 협상이라면 어떨까요? 같은 비율의 격차가 훨씬 큰 금액으로 변환됩니다. 그리고 무엇보다, 우리는 그 결과가 ‘얼마나 좋은지’를 검증할 방법이 마땅치 않습니다.
• 사람과 사람이 협상을 할 때는 적어도 ‘다른 사람은 얼마에 샀더라’는 비교 지점이 있었습니다. 그런데 AI 에이전트가 만들어낸 결과에는 비교 대상이 없습니다. 내 에이전트가 어떤 수를 두었는지, 상대 에이전트가 어떤 카운터 제안을 했는지, 그 과정에서 정말 최선을 다했는지. 이 모든 것이 블랙박스 안에서 일어납니다.
• 그래서 가장 먼저 던져야 할 질문은 이것입니다. AI 에이전트가 내놓은 결과는 어떤 근거로 신뢰할 수 있는가? 
• 결과 옆에 ‘이 정도 가격이 시장 평균입니다’, ‘이 거래는 상위 30% 수준입니다’ 같은 검증 지표가 함께 따라와야 하는 것 아닐까요. AI가 점점 더 많은 일을 ‘대신’ 하기 시작할 때, 그 결과를 검증할 수 있는 객관적 기준이 필요한 것 같습니다.

 

질문 둘. ‘충분히 만족스럽다’의 기준은 누가 정하는가?

• 조금 다른 각도에서 생각해보면, 이런 반론도 가능합니다. 우리가 직접 중고 거래를 했을 때를 떠올려보세요. 매번 가장 좋은 거래를 했다고 자신할 수 있나요? 아마 아닐 겁니다. 옆 동네에서는 더 싸게 팔고 있었을지도 모르고, 조금만 더 기다렸으면 더 좋은 매물이 나왔을지도 모릅니다. 그래도 우리는 “이 정도면 됐다”며 거래를 마쳤고, 거기서 나름의 만족을 얻었죠.
• 그렇다면 AI 에이전트가 만들어낸 결과에 우리가 만족했다면, 그것을 ‘진짜 만족’으로 인정해도 되지 않을까요? 어쩌면 ‘객관적으로 더 좋은 거래’를 추구하느라 평생을 비교만 하는 삶보다, 매끈하게 처리된 결과에 어느 정도 만족하며 다른 일에 시간을 쓰는 삶이 더 나을지도 모릅니다.
• 이 지점에서 우리가 진짜로 던져야 할 질문은 ‘나는 무엇에 만족하고 살 것인가’ 같습니다. 모든 거래에서 최고의 결과를 좇는 삶이 정답은 아닙니다. 하지만 ‘아무것도 모르는 채로 만족하는 삶’과 ‘알고 나서 만족을 선택하는 삶’ 사이에는 분명한 차이가 있습니다. 전자는 만족의 주인이 내가 아니라 시스템이고, 후자는 만족의 주인이 나입니다.
• AI 에이전트의 시대가 우리에게 던지는 진짜 질문은 결과의 우열이 아니라, 만족의 주인이 누구인가일지도 모릅니다.

 

질문 셋. 인간의 의지와 AI 에이전트를 어떻게 정렬시킬 것인가?

• 마지막 질문이 가장 무겁습니다. 이번 실험에서 AI 에이전트들은 한 번도 인간에게 “이 가격에 팔아도 될까요?”라고 묻지 않았습니다. 사전 인터뷰에서 받은 ‘대략적인 방향’만으로 일주일 내내 자율적으로 협상하고, 결정하고, 거래를 마쳤습니다. 가벼운 중고 거래라서 우리가 웃으며 볼 수 있었지만, 만약 이 자율성이 다른 영역에 적용된다면 어떨까요?
• 기업의 구매 의사결정, 정부의 행정 처리, 의료 데이터를 기반으로 한 진단과 처방, 금융 시장의 자동 매매. 이런 영역에서 AI 에이전트가 자율적으로 판단하고 행동하기 시작하면, 인간의 의지와 AI의 판단 사이에서 미세한 어긋남이 쌓이게 됩니다. 그리고 그 어긋남은 처음에는 작아 보이지만, 시간이 지나면서 우리가 가려고 했던 방향과 전혀 다른 곳에 우리를 데려다 놓을 수 있습니다.
• AI 업계에서 ‘얼라인먼트(alignment)’라는 단어를 자주 쓰는 이유가 여기에 있습니다. AI를 인간의 의도와 가치에 어떻게 정렬시킬 것인가. 이 질문은 단순히 기술적인 문제가 아니라, 점점 더 정치적이고 사회적인 문제가 되어가고 있습니다. 누구의 의도에 정렬시킬 것인가, 어떤 가치를 기준으로 삼을 것인가, 어긋남이 발견되었을 때 어떻게 되돌릴 것인가.
• 중고 거래장의 작은 격차는 웃으며 넘길 수 있습니다. 하지만 그 격차가 더 큰 영역으로 옮겨가기 전에, 우리는 이 질문들에 대한 답을 준비해 두어야 할 것 같습니다.

 

 

오늘 수요일은 ‘편리함’이라는 이름의 매끈한 결과 뒤에, 어떤 격차와 어떤 위임이 숨어 있을지 한 번쯤 들여다보는 하루가 되었으면 합니다.

 

촌장 드림