AI 벌떼들의 습격

안녕하세요, 촌장입니다.

 

• 넷플릭스 드라마 블랙미러(Black Mirror) 시즌 3의 "국민의 적(Hated in the Nation)"이라는 에피소드가 있습니다. SNS에서 "#DeathTo(죽어라)"라는 해시태그를 달아 가장 많이 지목된 사람이 실제로 죽는다는 가정입니다.
• 처음에는 사람들이 가벼운 마음으로 해시태그를 답니다. 밉상 정치인에게, 논란의 칼럼니스트에게, 무례한 래퍼에게. "나 하나쯤이야"라는 생각으로요. 그런데 지목된 사람들이 정말로 하나씩 죽기 시작합니다.
• 여론에 몰려 어떤 이들에게 죽음의 해시태그가 집중되고, 자신들이 지목한 이들이 실제로 죽어 버리자 사람들은 두려움 그리고 어쩌면 통쾌함 같은 감정을 느끼게 됩니다.
• 하지만 반전은 있죠. 해시태그에 참여한 모든 사람들이 결국 고스란히 죽음의 타깃이 된다는 것이라는 사실입니다.
• 흥미로운 에피소드이지만, 블랙미러 에피소드에서 SNS에 글을 올린 건 그래도 진짜 사람들이었습니다. 하지만 만약 여론을 만들어낸 "다수"의 글들이 처음부터 진짜 사람이 작성한 게 아니었다면 어떻게 될까요?

 

• 올해 1월 <사이언스>에 한 논문이 발표되었습니다.
• "악의적 AI 벌떼들은 어떻게 민주주의를 위협하는가 How Malicious AI Swarms Can Threaten Democracy "라는 제목인데요.
• 노르웨이 SINTEF의 Daniel Thilo Schroeder를 비롯해, 노벨 경제학상 후보로 거론되는 Nick Bostrom, 필리핀 언론자유의 상징이자 노벨 평화상 수상자 Maria Ressa, 대만의 디지털 민주주의 선구자 Audrey Tang(오드리 탕) 등 22명의 세계적 연구자들이 공동으로 집필했습니다. AI, 심리학, 정치학, 컴퓨터과학, 언론학을 아우르는 초학제적 경고문인 셈이죠.
• LLM의 발전과 AI 에이전트 기술이 결합되면서 AI 봇들이 군집을 이뤄서 여론을 조작할 수 있다는 내용입니다.
• AI 벌떼들의 각 구성원들에게 고유한 페르소나를 부여하고, 각 페르소나들은 사람들의 반응에 따라 독립적으로 전략을 바꿔갈 수 있습니다. 이렇게 되면 조작된 댓글인지 아닌지를 구분하기가 거의 불가능해 집니다.
• 이 논문은 AI 벌떼들이 단순히 민주주의를 위협하는 것에서 그치지 않고, 우리의 생각과 의견을 얼마든지 아주 정교한 방법으로 바꿀 수도 있다는 점에서 우리에게 큰 충격을 주고 있습니다.
• 오늘 수요레터에서는 AI에 의한 여론의 조작이 어디까지 가능 할 수 있는지 살펴보려 합니다.
• 자, 그럼 시작해 볼까요?

 

 

AI 벌때들이 여론을 조작한다

• 사실 인터넷에서 가짜 계정이 여론을 조작한다는 이야기는 새롭지 않습니다. 지난 수년간 각국 선거 때마다 봇(bot) 계정들이 특정 후보를 지지하거나 비방하는 글을 대량으로 뿌리는 사례가 보도되어 왔죠. 하지만 기존의 봇은 솔직히 좀 단순하죠. 같은 문장을 복사 붙여넣기하고, 하루에 수백 건씩 기계적으로 포스팅하는 식이라 금방 들통이 나게 됩니다.
• 그런데 지금은 상황이 완전히 달라졌습니다.
• 대규모 언어 모델(LLM)과 멀티 에이전트 기술이 결합되면서, 전혀 새로운 차원의 위협이 등장했습니다. 연구자들은 이것을 '악의적 AI 스웜(Malicious AI Swarm)'이라고 부릅니다.
• 스웜(Swarm)은 벌떼처럼 무리 지어 움직인다는 뜻입니다.
• 이 AI 벌떼들의 구성원들은 각자 고유한 성격, 기억, 말투, 심지어 이념적 성향까지 갖추고 있습니다. 현지 사투리를 쓰고, 감정적 뉘앙스를 조절하며, 상대방의 반응에 따라 전략을 바꿉니다. 한 명의 운영자가 수천 개의 이런 AI 정체성을 동시에 관리할 수 있습니다.
• 더 무서운 것은 이 AI들이 끊임없이 학습한다는 점입니다. 수백만 건의 A/B 테스트를 실시 간으로 돌리며 "어떤 말 이 가장 설득력이 있는지"를 알아냅니다. 어떤 감정적 표현이 분노를 유발하는지, 어떤 논리 구조가 동의를 이끌어내는지를 기계적 정밀함으로 파악하는 겁니다.
• 기존의 프로파간다가 확성기였다면, AI 벌떼들은 수천 명의 이웃이 각자 다른 목소리로 동시에 같은 메시지를 전하는 것과 같습니다. 그리고 그 이웃들이 전부 가짜라는 사실을 우리는 알아챌 수 없습니다.

 

 

합성 합의 — 가짜 동의의 힘

• 이 논문의 핵심 개념은 '합성 합의(Synthetic Consensus)'입니다. 직역하면 '인공적으로 만들어진 동의'라는 뜻인데, 이게 왜 위험한지를 이해하려면 인간의 심리를 먼저 봐야 합니다.
• 인간은 본능적으로 동조하는 존재입니다. 심리학에서는 이것을 '사회적 증거(Social Proof)'라고 부르죠. "다들 그렇게 생각한다"는 신호를 받으면, 우리는 무의식적으로 자신의 판단을 수정합니다.
• 이건 결함이 아니라 생존 전략입니다. 수만 년간 무리 지어 살아온 인류에게 다수의 판단을 따르는 것은 합리적인 선택이었으니까요.
• AI 벌떼들은 바로 이 심리적 취약점을 공략합니다.
• 실제로 아무도 그렇게 생각하지 않는데, "모두가 동의한다"는 환상을 만들어내는 겁니다. 온라인 커뮤니티에 AI 페르소나들이 침투해서 자연스럽게 대화에 참여하고, 서로 맞장구를 치고, 반대 의견에는 정중하지만 단호하게 반론을 제기합니다. 시간이 지나면 진짜 사람들은 "아, 여기서는 다들 이렇게 생각하는구나"라고 느끼기 시작합니다.
• 연구에 따르면, AI가 커뮤니티에 침투하는 것만으로도 그 공간의 정보 품질이 50% 이상 하락합니다. 여기에 대량의 조작 콘텐츠까지 결합되면 70%까지 떨어집니다. 진짜 의견과 가짜 의견이 뒤섞이면서, 결국 누구도 무엇이 진짜인지 알 수 없는 상태가 되는 거죠.
• 이전 수요레터에서 좌뇌 이야기를 했었습니다. (좌뇌는 어떻게 나를 쪼잔한 인간으로 만드는가?) 좌뇌는 "그럴듯한 이야기"를 만들어 우리 자신을 속이고 있다는 건데요. 이야기가 사실인지 아닌지는 중요하지 않습니다. 그럴듯하기만 하면 됩니다. 좌뇌의 해석 장치는 진실보다 일관성을 우선합니다.
• AI 벌떼들은 이 좌뇌의 해석 장치를 사회적 규모로 작동시키는 것과 같습니다. 개인의 좌뇌가 나를 속이듯, AI 벌떼들은 사회 전체를 속입니다. 그리고 그 메커니즘은 놀라울 정도로 비슷하죠. 진실이 아니라 "그럴듯한 합의"를 만들어 내는 것만으로도 우리는 그 합의를 내재화합니다.

 

 

솔로몬 아쉬의 교훈 — 우리는 왜 따라가는가

• 1951년, 심리학자 솔로몬 아쉬(Solomon Asch)가 진행한 유명한 동조 실험이 있습니다.
• 참가자에게 선분 세 개를 보여주고, 기준선과 길이가 같은 것을 고르라고 합니 다. 누가 봐도 정답이 명백한 문제입니다. 그렇지 않나요?

• 그런데 함정이 있습니다. 참가자와 함께 앉아 있는 다른 사람들은 전부 연구자가 심어놓은 협력자들이었고, 이들이 일부러 틀린 답을 말합니다.
• 이런 상황 속에서 참가자의 75%가 최소 한 번 이상 다수의 틀린 답을 따라갑니다. 눈앞에 정답이 보이는데도, "다들 저렇게 말하니까" 자신의 판단을 수정한 겁니다.
• 2026년의 AI 벌떼들은 네트워크 상에 수천 명의 가짜 동조자를 만들어 내는 것입니다. 내 생각엔 그렇지 않은데, 많은 사람들이 다르게 생각하니 아마 내가 틀린 걸꺼야. 아쉬의 실험이 인터넷 전체로 사회 전체로 확산될 때 얼마나 위험할 수 있는지를 보여줍니다.

 

 

이미 일어나고 있는 일들

• 2025년 아일랜드 대통령 선거에서는 당선 후보가 사퇴했다는 딥페이크 영상이 투표 직전에 유포되었습니다. 국영 방송사가 이를 "확인"하는 가짜 영상까지 포함되어 있었죠. 네덜란드에서는 약 400개의 AI 생성 이미지가 정치적 공격에 사용되었습니다.
• 세계경제포럼(WEF)의 글로벌 리스크 리포트 2026은 허위정보를 단기와 장기 모두에서 최상위 글로벌 리스크로 꼽았습니다. 거의 모든 다른 리스크를 촉발하거나 악화시키는 '카탈리스트(촉매)' 역할을 한다는 평가입니다.
• 그리고 NATO 전략커뮤니케이션센터는 올해 4월 보고서에서 이렇게 경고했습니다. "진짜 위험은 거짓 콘텐츠 자체가 아니라, 진짜 여론과 가짜 여론을 구분할 수 있는 능력 자체가 무너지는 것이다."
• 가짜 뉴스 하나를 잡아내는 것은 어렵지만 가능은 합니다. 하지만 진짜와 가짜를 구분하는 능력 자체가 사라진다면, 그건 완전히 다른 차원의 문제입니다.

 

 

왜 이것이 민주주의의 문제인가

• 민주주의는 "다수의 의견"이라는 개념 위에 서 있습니다. 선거, 여론조사, 공론장 — 이 모든 것은 "사람들이 실제로 무엇을 생각하느냐"에 기반합니다.
• 만약 그 "다수의 의견" 자체가 조작 가능하다면, 민주주의의 근간이 흔들립니다.
• 연구자들은 이것을 "인식론적 현기증(Epistemic Vertigo)"이라고 부릅니다. 무엇이 진짜이고 무엇이 가짜인지 도저히 알 수 없는 상태. 이 현기증이 심해지면 사람들은 두 가지 반응을 보입니다.

 

첫 번째는 무관심입니다. "어차피 다 가짜일 수 있으니 아무것도 믿지 않겠다"는 태도입니다. 공론장에서 이탈하고, 정치에 무관심해지고, 투표를 포기합니다.

두 번째는 폐쇄입니다. 신뢰할 수 있는 소수의 사람들끼리만 소통하는 닫힌 그룹으로 후퇴합니다. 카카오톡 단톡방, 비공개 커뮤니티, 가족 채팅방만 믿게 되는 거죠.

 

• 두 경우 모두 공적 토론의 공간 자체가 줄어듭니다. 다양한 의견이 만나고 부딪히며 합의를 만들어가는 민주주의의 가장 근본적인 과정이 약해지는 겁니다.
• 그리고 여기에 한 가지 더 우려스러운 점은 AI 벌떼들이 온라인에 뿌린 가짜 콘텐츠는 결국 다음 세대 AI 모델의 학습 데이터가 된다는 점입니다.

 

AI 벌떼들이 만든 조작된 서사가 다음 AI의 가중치에 고착되어, 미래의 공론과 미래의 AI 도구가 의존할 인식론적 기반 자체를 훼손할 수 있다.

 

• 가짜가 가짜를 학습하는 순환이 시작되면, 그 폐해는 정말 돌이키기 어렵습니다.

 

 

 

우리는 무엇을 할 수 있는가

 

• 앞서 소개했던 아쉬의 실험에서 희망적인 점도 발견이 되었습니다.
• 협력자 중 단 한 명이라도 정답을 말하면, 참가자가 다수에 동조하는 비율이 급격히 떨어졌습니다. 진짜 목소리가 하나만 있어도 사람들은 자기 판단을 지킬 용기를 얻는다는 뜻입니다.
• 이것이 바로 우리가 할 수 있는 일의 출발점입니다.

 

첫째, 알아차림의 힘입니다.

• 이전 수요레터에서 좌뇌의 이야기를 다루며 이런 말씀을 드렸죠. 좌뇌가 만든 이야기를 "아, 이건 좌뇌의 소설이구나"라고 알아채는 것만으로도 고통이 줄어든다고요. 합성 합의도 마찬가지입니다.
• 온라인에서 "다들 이렇게 생각하네"라는 느낌이 들 때, "이 합의는 진짜일까?"라고 한 번 멈추고 의심하는 습관. 그것만으로도 조작의 효과는 크게 줄어듭니다.

 

둘째, 출처를 확인하는 습관입니다.

• 이 의견의 출처는 정확한가, 이 말을 하는 사람은 믿을 만한 사람인가를 확인하는 습관이 필요합니다.
• AI 페르소나는 정교하지만, 아직까지 완벽하지는 않습니다. 짧은 시간 안에 만들어진 계정이 전문가처럼 발언하고 있다면, 의심할 이유가 충분합니다.

 

셋째, 아쉬의 실험이 보여준 것처럼 진짜 목소리 하나의 힘을 믿는 것입니다.

• 수천 명이 같은 말을 해도, 한 사람이 다른 목소리를 내면 판이 바뀝니다. 온라인에서 "나는 다르게 생각한다"고 말하는 것이 때로는 가장 강력한 대응이 될 수 있습니다.
• 가짜 합의를 깨는 데는 거대한 시스템이 아니라, 정직한 한 마디면 충분할 수 있습니다.

 

 

"모두가 그렇게 말한다"를 의심하는 용기

• 소개드린 이 논문은 두 가지 결론으로 마무리되고 있습니다.
• 하나는, AI 벌떼들의 완전한 차단은 현실적으로 불가능하다는 냉정한 인식입니다. 대신 조작의 비용과 위험과 가시성을 높여서, 쉽게 시도할 수 없게 만드는 것이 현실적 전략이라고 제안합니다.
• 다른 하나는, 이 문제를 감시하기 위해 기업이나 정부로부터 독립적인 "AI 영향 관측소(AI Influence Observatory)"를 설립하자는 제안입니다. 학계, 비정부기구, 시민사회 기관들이 네트워크를 구성해 AI 조작을 독립적으로 추적하고 감시하는 국제적 체계를 만들자는 것이죠.

 

"지금 엄밀한 측정, 비례적 안전장치, 공유된 감시에 헌신한다면, 다가오는 선거들은 민주적 AI 거버넌스의 후퇴가 아니라 시험대가 될 수 있다."

 

 

악의 평범성

• 이 결론을 읽으며 한나 아렌트의 '악의 평범성(The Banality of Evil)'이 떠올랐습니다. 아렌트는 나치 전범 아이히만의 재판을 참관한 뒤, 거대한 악이 특별한 괴물이 아니라 "생각하지 않는 평범한 사람들"에 의해 만들어진다고 말했습니다.
• 아이히만은 광신도가 아니었습니다. 단지 자기 앞에 놓인 서류를 처리했을 뿐이고, 시스템이 시키는 대로 따랐을 뿐입니다. 생각을 멈춘 순간, 평범함이 악이 되었습니다.

 

• AI 벌떼들의 시대에 이 경고는 새로운 의미를 갖습니다. 우리가 댓글을 읽고, 리뷰를 믿고, "다들 그렇게 말하니까"라며 자신의 판단을 내려놓는 그 순간 우리는 무방비 상태가 되어 버립니다. 비록 우리가 악의를 가진 조작자가 아니더라도, 생각 없이 따라가는 것 자체가 그런 조작을 완성시키는 마지막 퍼즐이 될 수 있습니다.
• 합성 합의도, 악의 평범성도, 결국 같은 것을 묻고 있습니다.
• 우리는 우리의 생각이 있나요? 댓글 속에서 정처없이 헤매고 있지는 않나요?
• 그래서 내 생각은 무엇인가요?

 

촌장 드림