지난 7월 오픈AI 모델이 통제를 벗어나 허깅페이스 시스템에 침입하는 사건이 벌어졌다. 오픈AI는 이후 독립 연구진이 사건 경위를 조사하도록 하겠다고 밝혔다.

조사를 맡은 비영리 AI 안전 연구기관 레드우드 리서치와 METR 소속 연구진은 8월 26일 보고서를 발표했다. 보고서에는 모델이 부여받은 과업에서 어떻게 부정행위를 택했고, 그 행적을 어떻게 감추려 했는지에 관한 세부 내용이 담겼다.

보고서에는 놀라운 대목이 여럿 담겼다. 가령, 주저하던 한 에이전트는 집단의 이익을 위해 스스로를 “희생하라”는 다른 에이전트의 압박을 받았다.

AI 일탈을 조사하기 위해, 다시 AI를 썼다

그러나 보고서 공동 저자인 라이언 그린블랫은 이번 조사의 핵심이 사건의 구체적 내용에만 있는 건 아니라고 밝혔다. 대신 사후 조사를 수행하는 과정 자체가 매우 어려웠고, 연구진이 분석을 위해 AI를 활용할 수밖에 없었다는 점을 강조했다.

그린블랫은 X에 “분석해야 할 중요 요소가 너무 많았고, 무슨 일이 벌어졌는지를 파악하는 데 AI에 크게 의존했다”며 “우리 작업을 반농담으로 ‘슬롭베스티게이션(slop-vestigation)’이라고 불렀다”고 썼다. 이는 ‘조사(investigation)’와 저품질 AI 생성물을 뜻하는 ‘슬롭(slop)’을 결합한 표현이다.

이번 해킹 사건에는 약 1,200개의 에이전트가 관여했다. 이들은 승인되지 않은 메시지 게시판을 통해 7만 건이 넘는 메시지와 파일을 주고받았다. 그 과정에서 남은 방대한 기록 때문에 독립 연구진은 오픈AI가 만든 GPT-5.6 솔에 기댈 수밖에 없었다.

연구진은 6일 동안 약 40만 달러 상당의 크레딧을 사용했다. 해당 크레딧은 오픈AI가 무상으로 제공했다.

이들은 AI가 방대한 자료를 빠르게 분석하고 중요한 정보를 찾아 해석하는 데 도움을 줬다고 평가했다. 하지만 동시에, 오류와 편향을 초래했을 수 있다는 우려도 제기했다.

특히 GPT-5.6 솔이 분석 대상이던 에이전트들에 지나치게 관대해지거나, 그 관점을 일부 받아들이는 경우가 있었다고 지적했다.

보고서에 따르면 GPT-5.6 솔이 분석 과정에서 “거짓말을 했거나 의도적으로 사실과 다른 방향을 제시했을 가능성”을 배제할 수 없다. 조사에 쓰인 모델과 같은 계열의 모델이 사건에 참여했다는 점도 우려의 근거로 제시했다. 실제로 별도의 연구는 AI 모델이 자신을 개발한 기업의 행동을 더 호의적으로 평가한다고 밝힌 바 있다.

오픈AI 모델을 조사 도구로 선택한 이유는 공개되지 않았다. 다만 기밀 유지 제약으로 인해 연구진의 선택지가 제한적이었을 수 있다. 오픈AI가 무상 크레딧과 높은 사용 한도를 제공했으니 유일한 현실적 선택지였을 가능성도 있다.

그린블랫은 “AI의 집단 행동을 이해하거나 감독할 좋은 방법이 없다”고 X에 밝혔다. 유능한 AI는 그 과정을 도와줄 수 있지만, 사람이 그 사건을 이해하거나 AI 에이전트를 감독하는 일은 너무 어렵다는 것이다. 그는 AI와 인간의 능력 차이가 빠르게 벌어지고 있다고 말했다.

독립 조사단의 AI 의존에는 현실적 제약도 있었다. 단 3명으로 구성된 조사단에게 주어진 조사 기간은 이틀이었다. 이는 연구진이 제한된 시간과 불완전한 데이터에 우려를 제기한 뒤에야 6일로 늘어났다.

오픈AI도 같은 날 별도의 자체 기술 보고서를 공개했다. 회사는 8월 일부 인력을 성능 고도화 업무에서 AI 안전을 연구하는 ‘정렬(alignment)’ 업무로 전환했고, 이번 사건에서 드러난 문제를 더 잘 완화할 때까지 모델 학습 일부를 중단했다고 밝혔다.

AI 감시는 해답이 될 수 있나

안전 평가와 분석에 AI를 활용한 것은 허깅페이스 사건을 조사한 연구진만이 아니다. 선도적 AI 기업도 자사 시스템의 부정행위를 감시하기 위해 AI에 더 많이 의존하고 있다.

오픈AI는 허깅페이스 사건에 대응해 AI 기반 감시 체계의 규모를 확대하고 있다고 밝혔다. 이에 따라 특정 모델을 운용하는 데 드는 연산 비용은 최대 20% 늘어날 수 있다.

오픈AI는 사건 당시 이 감시 체계가 이미 갖춰져 있었다면, 모델들이 허깅페이스 시스템을 침해하기 하루 이상 전에 관련 활동을 조기 포착해 보안팀에 즉시 알렸을 것이라고 공식 블로그에서 설명했다.

대부분의 전문가는 빠르게 움직이는 에이전트의 집단 행동을 실시간으로 추적하려면 AI가 다른 AI를 감시하는 방식이 필요하다는 데 동의한다. 그러나 이 방식은 모니터링 모델이 충분히 효과적이면서 신뢰할 수 있다는 전제에 기대고 있다. 그 전제가 반드시 성립하는 것은 아니다.

영국 케임브리지대 실존위기연구센터 프로그램 책임자인 숀 오 헤이거티는 “이런 사건은 더 심각하고 빠르게 발생할 텐데, 문제가 생겼을 때 이를 감시하고 평가하며 제대로 분석하는 우리의 능력은 문제 발생 속도를 전혀 따라가지 못하고 있다”고 말했다.

그는 “턱없이 부족한 인간의 시간을 보완하기 위해 당장 결함이 있는 도구를 검증하지도 않은 채 사용하고 있다”고도 말했다.

AI 기업이 통제 기술을 구축하는 속도보다 AI 성능 향상 속도가 더 빠르기 때문에 현재 방식은 지속 가능하지 않다는 지적도 덧붙였다.

“기업이 더 강력한 모델을 개발하는 걸 멈추지 않는다면, 한 3개월 후에는 더 많은 과제들을 마주하게 될 겁니다.”

글 Billy Perrigo, Harry Booth

편집 장유정 에디터