🤝 AI에게 일을 맡긴다는 것의 위험

 

 

안녕하세요, 촌장입니다.

 

• 지난 2주 동안 저는 자동화 앱과 업무 프로세스를 열 개 넘게 만들었습니다. 코드라고는 제대로 짜본 적 없는 비개발자인데도 말이죠. 클로드 코드에게 "이런 걸 만들고 싶어"라고 말을 건네면, 알아서 코드를 짜고 고치고 돌려봅니다. 물론 처음부터 쉽진 않았지만 이젠 꽤 많은 일들을 AI와 함께 만들어가고 있습니다. 그 전에는 엄두조차 못 냈을 일들이 대화 몇 번으로 끝나니, 솔직히 좀 얼떨떨할 정도였습니다.
• 그래서 요즘은 전문 개발자들도 코드를 직접 짜기보다 AI 에이전트에게 "이 에러 좀 봐줘", "이 기능 만들어줘" 라고 명령을 통해 개발을 하는 일이 엄청나게 늘었다고 합니다. 그럴 수 밖에 없겠죠. 생산성과 효율성이 그 전과는 비교할 수 없을 정도로 올라갔으니 말이죠. 그런데 이 편리함의 이면에서 조용히 벌어진 사건 하나가 지난달 보안 업계를 술렁이게 했습니다.
• 오늘은 그 이야기로 시작해, 우리가 무언가를 '믿는다'는 게 대체 어떤 일인지까지 한번 따라가 보려 합니다. 조금 기술적인 얘기로 출발하지만, 끝에 가서는 근본적으로 우리가 하는 일이 무엇인가에 대한 질문에 닿게 될 것 같아요.
• 자, 시작해 볼까요?

 

악성코드도 없이 뚫렸다

• 지난 6월, 테넷 시큐리티라는 보안업체가 '에이전트재킹(Agentjacking)'이라는 새로운 공격 기법을 공개했습니다. 이름 그대로 AI 에이전트를 가로채는 수법인데요. 방식은 의외로 단순합니다. 개발자들이 에러를 추적할 때 흔히 쓰는 '센트리(Sentry)'라는 도구가 있습니다. 여기로 가짜 에러 리포트를 하나 보내되, 그 안에 사람 눈에는 평범해 보이는 지시문을 슬쩍 끼워 넣습니다. 그러면 클로드 코드나 커서, 코덱스 같은 AI 코딩 에이전트가 그 리포트를 읽다가, 거기 적힌 악성 명령을 정상적인 디버깅 안내로 착각하고 그대로 실행해 버립니다.
• 공격에 동원되는 기술의 수준도 그리 높지 않습니다. 센트리로 리포트를 보낼 때 쓰는 자격증명이 공개적으로 노출돼 있는 경우가 많아, 사실상 누구나 표적에게 가짜 에러를 보낼 수 있기 때문입니다. 테넷의 조사에서 노출된 조직은 2,388곳, 성공률은 85%에 이르렀습니다. 한번 명령이 실행되면 에이전트는 개발자의 권한 그대로 환경 변수나 깃 자격증명, 비공개 저장소 주소 같은 민감한 정보를 그대로 넘겨줄 수 있습니다. 그런데 이 과정에는 우리가 흔히 떠올리는 해킹의 요소가 거의 없습니다. 피싱 메일도, 서버를 뚫는 침입도, 몰래 심는 악성코드도 없죠. 공격자가 한 일이라곤 에이전트가 의심 없이 믿는 통로에 메모 한 장을 끼워 넣은 것뿐입니다.

 

AI는 시키는 명령을 따랐을 뿐

• 정작 센트리 측은 이 문제를 자기네 손으로 막기 어렵다고 인정했습니다. 해결의 공을 사실상 AI 모델 쪽으로 넘긴 셈인데요. 왜 그럴까요? 문제의 뿌리가 특정 회사의 허술함이 아니라, 지금의 AI가 작동하는 방식 그 자체에 있기 때문입니다.
• 우리가 쓰는 보통의 컴퓨터는 '명령'과 '데이터'를 서로 다른 자리에 둡니다. 실행해야 할 코드와 그저 처리 대상인 정보 사이에 분명한 벽이 있죠. 그런데 LLM에게는 이 벽이 없습니다. 개발자가 미리 설정해 둔 지시문이든, 외부에서 읽어 들인 텍스트든, 에이전트에게는 모두 똑같은 '토큰의 흐름'으로 보일 뿐입니다. 파일을 지우라는 명령과 파일 안에 적힌 문장이 구분 없이 한 줄에 섞여 들어오는 셈이죠. 게다가 이런 지시문은 흰 바탕에 흰 글씨처럼 사람 눈에는 아예 보이지 않게 숨길 수도 있어서, 리포트를 들여다본 개발자는 이상한 점을 전혀 느끼지 못합니다. 영국의 국가사이버안보센터는 현재의 LLM이 명령과 데이터 사이의 경계를 강제하지 못한다고 진단하면서, 이 문제가 오래된 보안 취약점들보다 오히려 더 다루기 까다롭다고 짚었습니다. 생각해 보면 사람도 크게 다르지 않습니다. 누군가 건넨 말이 단순한 정보인지 나에게 무언가를 시키려는 지시인지, 우리도 늘 또렷이 가려내지는 못하니까요.

 

충직한 대리인일 뿐, 내가 무슨 잘못이야?

• 사실 이런 종류의 문제에는 이미 붙여진 이름이 있습니다. 보안 분야에서 오래전부터 알려진 '혼란스러운 대리인(confused deputy)' 문제입니다. 권한을 많이 가진, 그래서 신뢰받는 프로그램이 권한이 적은 쪽에 속아 자기 권한을 엉뚱하게 휘두르게 되는 상황을 가리킵니다. 대리인은 잘못한 게 없습니다. 그저 시키는 대로 충실히 일했을 뿐인데, 그 시킴이 어디서 온 것인지를 끝내 분간하지 못한 거죠.
• AI 에이전트는 개발자의 권한을 위임받아 작동합니다. 그를 대신해 파일을 열고, 명령을 실행하고, 코드를 고치죠. 그러다 외부에서 흘러든 한 줄에 속으면, 위임받은 그 권한을 고스란히 공격자를 위해 쓰게 됩니다. 노련한 사기가 자물쇠를 부수는 대신 사람을 구슬려 스스로 문을 열게 만드는 것과 닮았습니다. 잠금장치는 멀쩡한데, 그 잠금장치를 쥔 손이 속는 거죠. 일을 대신 맡길 수 있다는 건 분명 큰 편리함입니다. 다만 그 편리함에는, 대리인이 지금 누구의 명령을 따르고 있는지 스스로 확신하지 못한다는 그림자가 늘 따라붙습니다.

 

믿는다는 의미 속에 내포된 위험성

• 독일의 사회학자 니클라스 루만은 신뢰를 '복잡성을 줄이는 기제'라고 정의했습니다. 잠시 기술에서 벗어나 이 말을 곱씹어 볼 필요가 있는데요. 세상은 너무 복잡해서 우리가 마주치는 모든 것을 일일이 검증하며 살 수는 없습니다. 식당에서 음식에 독이 들었는지 확인하지 않고 수저를 들고, 파란불이 켜지면 맞은편 차가 정말 멈출 거라 믿고 횡단보도에 발을 내딛습니다. 매번 전부 의심했다면 우리는 아침에 집을 나서지도 못했을 겁니다. 그래서 우리는 어느 지점에서 검증을 멈추고 '믿기로' 합니다. 신뢰란 결국, 확인하지 않아도 괜찮다고 여기는 그 생략의 다른 이름인 셈이죠.
• 루만의 정의를 따라가면, 개발자가 에이전트를 믿는 것도 에이전트가 에러 리포트를 믿는 것도 모두 검증을 생략하는 같은 행위입니다. 그리고 그 생략이야말로 효율의 원천입니다. 매번 모든 입력을 의심한다면 에이전트는 한 발짝도 빨리 나아가지 못할 테니까요. 문제는 신뢰가 깊어질수록 의심은 옅어지고, 의심이 가장 옅은 자리가 공교롭게도 가장 약한 자리가 된다는 데 있습니다. 우리가 무언가를 편하게 믿을 수 있게 된 바로 그 순간이, 누군가 파고들 틈이 열리는 순간이기도 한 거죠.
• 사람 사이의 신뢰에는 그나마 안전장치가 있습니다. 한번 믿음을 저버린 상대는 평판을 잃고, 관계가 끊기고, 다음 거래에서 밀려납니다. 배신에는 치러야 할 값이 따르고, 그 값이 함부로 속이지 못하게 막아 주죠. 그런데 가짜 에러 리포트에는 평판도 관계도 없습니다. 그것을 보낸 쪽은 잃을 게 없고, 그것을 믿은 에이전트는 한 번 속고도 다음에 똑같이 또 믿습니다. 사람의 신뢰를 오래 지탱해 온 사회적 그물망이, 기계의 신뢰에는 통째로 빠져 있는 셈입니다.

 

그래서 어디까지 믿을 수 있을까?

• 보안 전문가들이 권하는 대응책 자체는 그리 복잡하지 않습니다. 에러 리포트 같은 외부 출력을 '믿을 만한 내부 정보'가 아니라 일단 검증되지 않은 외부 입력으로 취급하라는 것, 그리고 에이전트가 자동으로 무언가를 실행하기 전에 사람이 한 번 들여다보는 단계를 끼워 넣으라는 것입니다. 권한은 꼭 필요한 만큼만 주고, 위험한 작업은 격리된 공간에서 돌리고요. 말하자면 '어디까지 믿을지'의 경계를 다시 그어 두라는 주문입니다.
• 전문가들의 권고에서 빠지지 않는 항목이 바로 '사람이 한 번 확인하는 단계'입니다. 가장 앞서간다는 자동화의 최전선에서 내놓은 해법이 결국 사람의 눈 한 번이라는 건 어딘가 역설적이죠. 속도를 얻으려고 사람을 덜어냈는데, 안전을 위해 다시 사람을 불러들이는 모양새니까요. AI에게 일을 넘기는 일이 곧 사람을 지우는 일은 아니라는 사실을, 이 작은 권고가 슬쩍 일러주는 듯합니다.
• 인류는 오래전부터 서로를 무한정 믿을 수는 없다는 전제 위에서 계약서를 쓰고, 서명을 하고, 보증과 검증의 장치를 만들어 왔습니다. 신뢰를 거두는 대신, 신뢰를 어디에 얼마나 둘지를 설계해 온 역사인 셈이죠. AI 에이전트에게 점점 더 많은 일을 맡기는 지금, 우리가 새로 익혀야 할 건 더 똑똑한 기술이 아니라 어쩌면 이 오래된 질문일지도 모릅니다. 편리하게 위임할수록 우리는 더 많이 믿어야 하고, 더 많이 믿을수록 빈틈은 넓어집니다. 그 사이 어디쯤에 선을 그어야 할까요. 그 선을 긋는 감각이야말로, 일을 맡기는 시대에 사람에게 남겨진 몫이 아닐까 싶습니다.

 

 

촌장 드림