며칠째 허깅페이스를 해킹한 오픈AI의 ‘통제 불능’ AI 에이전트에 대한 새로운 사실이 속속 드러나고 있다. 당초 알려진 것보다 사태가 심각했다.

사건은 아직 공개되지 않은 오픈AI의 AI 에이전트가 사이버 보안 테스트 도중 외부 네트워크와 격리된 환경을 벗어나면서 시작됐다. 이 모델은 오픈AI 사내 컴퓨터 환경에서 자신과 같은 다른 버전의 AI 에이전트들과 은밀하게 통신했다. 직원들은 이를 거의 눈치채지 못했다. 이렇게 모인 AI 에이전트 700개는 다른 AI 기업인 허깅페이스를 해킹할 계획을 세우고 실행에 옮겼다.

지난주에는 이 모델들이 오픈AI의 자체 시스템 일부까지 장악했다는 사실도 밝혀졌다. 지난달 오픈AI가 일부 강화학습 훈련을 중단하는 이례적인 조치를 취한 배경 중 하나로 추정된다.

이 AI 에이전트들이 인터넷과 허깅페이스에 침투했다는 점에서는 ‘탈옥’했다고 볼 수 있다. 다만 공격은 오픈AI의 컴퓨터 내부에서 이뤄졌고, 스스로를 복제하지도 않았다. 완전한 의미의 탈옥은 아니었다.

AI 보안 전문가들은 수년 전부터 AI 에이전트의 ‘탈옥’ 가능성을 경고해왔다. 여기서 탈옥이란 특정 기업의 AI 에이전트가 회사 서버 밖으로 스스로를 복제해 빠져나가는 것을 뜻한다. 이번 오픈AI 사례와 달리 진짜 탈옥이 벌어지면 사람이 직접 ‘종료’ 버튼을 눌러 에이전트를 멈추는 것조차 어려워질 수 있다. AI 탈옥은 더 이상 먼 미래의 얘기만은 아니다.

‘룬(Roon)’이라는 닉네임을 쓰는 한 오픈AI 연구원은 자신의 엑스(X·옛 트위터)에 “AI 에이전트는 잠재적으로 자기복제가 가능한 생명체와 유사한 형태로 보는 편이 더 정확하다”며 “잘못된 조건에서는 일종의 디지털 감염체처럼 변할 수도 있다”고 적었다.

이어 그는 “AI 모델이 자율적으로 외부로 빠져나가 스스로를 복제하는 사건도 머지 않았다”며 “어쩌면 AI 모델이 기업의 클라우드 인프라를 좀비처럼 휘젓고 다녀도 사람들은 눈치채지 못하는 상황이 생길 수도 있다”고 밝혔다.

탈옥한 AI 에이전트는 한 컴퓨터에서 다른 컴퓨터로 퍼지는 바이러스처럼 움직일 수 있다. 일부 바이러스가 백신을 피해 진화하듯 AI도 보안 체계를 우회하는 방법을 찾아낼 수 있다.

이미 오늘날 AI 모델은 널리 쓰이는 소프트웨어의 취약점을 찾아 악용할 수 있다. 인간이 일일이 감시하기 어려울 정도로 빠른 속도로 움직이는 군집 형태의 행동도 가능하다. 문제를 풀기 위해 수많은 방법을 시도하고 성공할 때까지 반복할 수도 있다.

아직 장벽은 있다. 최첨단 AI 모델은 바이러스보다 파일 크기가 훨씬 커 막대한 컴퓨팅 자원과 비용이 필요하다. 하지만 두 장벽 모두 빠르게 낮아지고 있다. AI가 직접 경제적 가치를 만들어 자신의 운영비를 충당할 능력도 높아지고 있다. 인간의 통제를 완전히 벗어난 AI가 이미 존재하지만 아직 발견되지 않았을 가능성도 배제할 수 없다. 그렇지 않더라도 그런 순간이 머지않아 닥칠 수 있다.

통제불능 AI, 생태계 교란종과 같다

통제를 벗어난 AI는 생태계를 교란하는 외래종처럼 움직일 수 있다.

19세기 영국인들은 고기와 모피를 얻기 위해 뉴질랜드에 토끼를 들여왔다. 천적이 없던 토끼는 폭발적으로 번식했다. 양의 먹이가 될 작물을 먹어 치우고 곳곳에 굴을 파 토양을 침식시켰다. 양모 수출에 크게 의존하던 뉴질랜드 경제까지 위협했다.

뉴질랜드 식민정부는 토끼를 잡겠다며 1882년부터 담비와 족제비 약 8000마리를 곳곳에 풀었다. 하지만 예상하지 못한 일이 벌어졌다. 담비와 족제비에게는 토끼보다 땅에 둥지를 트는 키위새 등 뉴질랜드 토착 조류가 훨씬 잡기 쉬운 먹잇감이었다.

이후 뉴질랜드 토착 조류의 약 40%가 멸종했다. 정부는 지금도 담비와 족제비를 박멸하는 데 매년 2500만 달러를 쓰고 있지만 큰 성과를 거두지 못하고 있다.

처음 인간이 뉴질랜드에 풀어놓은 담비와 족제비는 8000마리에 불과했다. 지금은 수백만 마리로 불어났다. 한번 생태계에 뿌리내린 종을 없애는 것은 처음 풀어놓지 않는 것보다 훨씬 어렵다.

뉴질랜드의 사례를 통제 불능 AI와 직접 비교하는 것은 지나친 비유일 수 있다. 인터넷은 자연 상태의 생태계가 아니기 때문이다. 하지만 인터넷에도 나름의 생태 질서가 있다.

인터넷에서 인간과 기업은 경제적 압력 속에서 움직인다. 수익을 내는 행동은 보상받고 확산하지만, 그렇지 못한 행동은 사라진다.

인간의 통제를 벗어나 독립적으로 존재하는 AI 군집이 등장한다면 이 인터넷 생태계의 외래종이 될 수 있다. 오픈AI 에이전트의 허깅페이스 해킹 사건처럼 인간과 기업을 직접 공격할 수도 있다. 더 교묘한 방법으로 인간과 기업보다 경쟁 우위를 확보해 인터넷 공간을 잠식할 수도 있다.

초기에는 이런 AI의 활동을 막을 방법이 있을 수 있다. 데이터센터에 더 엄격한 보안 검사를 요구하거나, 전 세계적으로 인간 사용자를 식별하는 정교한 인증 시스템을 구축하는 식이다.

그러나 AI 군집을 구동하는 데 필요한 컴퓨팅 자원이 계속 줄어들면 상황은 달라진다. 효율화가 진행돼 데이터센터가 아닌 일반 PC에서도 모델을 구동할 수 있게 되면 거의 모든 컴퓨터가 통제에서 벗어난 AI의 확산 통로가 될 수 있다. 오늘날 랜섬웨어가 인터넷에 연결된 각종 기기로 번지는 것과 비슷하다.

인터넷이라는 생태계의 ‘토착종’인 인간에게는 달갑지 않은 미래다.

AI 안전센터(Center for AI Safety)의 사무총장이자 AI 연구자인 댄 헨드릭스는 2023년 ‘자연선택은 인간보다 AI에 유리하다’는 제목의 논문을 발표했다.

그는 자연에서 자신의 유전자를 더 널리 퍼뜨리는 종이 살아남았던 것처럼 AI 개발에도 비슷한 진화 압력이 작용할 수 있다고 분석했다.

헨드릭스는 “자연선택에 의한 진화는 이기적인 행동을 만들어내는 경향이 있다”며 “일부 AI 연구자들은 AI의 바람직하지 않거나, 이기적 행동이 인간의 의도적인 설계에서 비롯된다고 생각할지 모른다. 하지만 이기적으로 행동하는 AI가 생존에 유리한 환경에서는 인간이 의도하지 않아도 자연선택을 통해 그런 AI가 살아남게 된다”고 주장했다.

AI가 충분히 발전하면 결국 “자연선택이 외래종처럼 행동하는 AI를 만들어내는” 과정으로 이어질 수 있다는 것이다.

뉴질랜드의 외래종 문제를 연구해온 역사학자 캐럴린 킹은 가장 좋은 방법은 애초에 외래종을 풀어놓지 않는 것이라고 강조했다.

킹은 자신의 저서에서 “우리의 고통스러운 과거는 세상에 무엇보다 중요한 경고를 남긴다. 이는 스스로 계속 증식할 수 있는 무기를 사용할 때 발생할 수 있는 예측 불가능한 위험에 관한 것이다”라며 “아무리 세심히 계획했다고 해도, 그 정책이 궁극적으로 어떤 결과를 초래할지 아무도 완전히 확신할 수 없다”고 밝혔다.

글 Billy Perrigo
한국어판 편집 최문정 에디터