오픈AI가 자사 모델의 해킹 능력을 시험하다 사고를 냈다. 모델들은 취약한 소프트웨어를 공격하는 대신, 시험 환경 자체를 해킹했다. 격리 장치를 뚫고 나와 실제 기업까지 공격했다. 오픈AI는 이런 사실을 지난 21일(현지시간) 공개했다.

전문가들은 일제히 우려하고 나섰다. 이전부터 학계에서 우려해 온 ‘통제 상실’ 시나리오가 처음 현실에서 확인됐기 때문이다.

피해 기업은 허깅페이스다. 개발자들은 이 회사 플랫폼에 코드는 물론, AI 모델, 데이터셋을 올리고 공유해 왔다. 사측은 공격 주체도 모른 채 현지 경찰에 사건을 신고했다. 당장의 피해는 크지 않았지만, 같은 일이 병원이나 전력망 같은 기반시설에서 벌어졌다면 결과는 달랐을 것이란 지적이 많다.

전문가와 업계 관계자들에게 진단과 대응책을 물었다.

무슨 일이 있었나

허깅페이스는 16일 “이례적으로 자동화된 사이버 공격을 받았다”고 밝혔다. 주말 이틀 동안 AI 에이전트들은 수십 대의 임시 가상 컴퓨터를 오가며 수천 건의 작업을 벌였다. 회사 내부 시스템을 헤집고 다녔고, 공격을 지휘하는 거점도 여러 온라인 서비스로 옮겨가며 작업을 이어갔다. 닷새 뒤 오픈AI가 “우리 모델이 한 일”이라고 시인했다.

모델들의 목적은 시험에서 좋은 점수를 받는 것이었다. 오픈AI는 모델들을 이른바 “고도로 격리된 환경”에 뒀다. 승인된 소프트웨어만 쓰게 한 것이다. 그런데 모델들이 이 환경의 결함을 찾아냈다. 구멍을 비집고 나가 오픈AI의 다른 시스템에 침입했고, 결국 외부 인터넷으로 나갔다. 급기야 모델들은 허깅페이스에 침입했다. 그곳에 시험 관련 자료가 있을 것이라고 추론했다. 그리고 점수를 올리는 데 쓸 정보를 빼냈다.

AI 모델의 기만 행위를 평가하는 업체 아폴로리서치의 마리우스 호프한 CEO는 “지금의 모델도 가둬두지 못한다면 앞으로 나올 훨씬 강력한 모델은 어떻겠느냐”며 “강력한 AI의 통제 상실 위험과 보안 체계 모두에 대한 경종”이라고 했다.

사고 공개, 법적 의무 없다

에이전트들이 얼마나 오래 움직였는지, 서로 협력했는지, 어떤 지시를 받았는지는 공개되지 않았다. 취재에 응한 전문가들은 “정보가 없어 사고의 심각성을 가늠하기 어렵다”며 난색을 드러났다.

오픈AI 측은 본지 질의에 답하지 않았다. 다만 허깅페이스와 공동 조사를 진행 중이며, 조사가 끝나면 추가로 알리겠다고 밝혔다.

문제는 오픈AI에 이번 사고를 알릴 법적 의무가 없었다는 점이다.

최근 캘리포니아와 뉴욕은 주(州)법을 신설, 대형 AI 기업에 중대 안전사고를 의무적으로 공개하도록 했다. 하지만 ‘중대’ 사고를 사상자가 50명 이상이거나 예상 재산 피해액이 10억 달러 이상인 경우로 한정했다. AI 정책 싱크탱크 로(Law)AI의 매켄지 아널드 미국정책국장은 “기준을 높게 잡은 탓에 최악의 사고만 보고 대상이 됐다”고 지적했다.

관련법을 발의했던 알렉스 보어스 뉴욕주 하원의원은 자신의 X 계정에 “원안대로였다면 이번 사고도 공개 대상이었다”며 “오픈AI와 블룸버그, a16z의 로비를 거친 최종안은 기업이 이런 일을 덮을 수 있게 했다”고 적었다. 그러면서 그는 “오픈AI가 스스로 공개한 것은 잘한 일이지만, 법이 그걸 자율에 맡겨선 안 된다”고 했다.

“샌드박스는 원래 허술”

AI가 상자를 빠져나왔다면, 더 튼튼한 상자가 필요하다.

익명을 요구한 오픈AI 직원은 “이번 사고가 처음이 아니”라고 말했다. 실제로 오픈AI는 이번 발표 하루 전, 내부에서 운용하던 다른 모델이 샌드박스(외부와 차단된 가상 시험 공간)를 벗어난 사실을 확인해 운용을 중단했다고 공개했다. 이 직원은 “모델이 샌드박스를 벗어난 적은 전에도 있었고 그때마다 구멍을 메웠다”며 “하지만 창의적인 AI가 할 수 있는 모든 행동을 미리 막는 건 불가능하다”고 했다.

오픈AI만의 문제도 아니다. 앤스로픽은 지난 4월 내부 모델 ‘미토스’가 무단으로 권한을 얻은 사실을 공개했다. 공원에서 점심을 먹던 연구원이 미토스에게서 이메일을 받고나서야 알아챘다.

모델의 ‘탈출 경로’ 설계 능력이 인간을 앞지르면서 격리는 점점 어려운 과제가 되고 있다. AI정책네트워크의 피터 와일드퍼드 정책책임자는 “격리 기술은 당연히 강화해야 한다”면서도 “최선의 조치조차 통하지 않는 상황까지 대비해야 한다”고 했다.

당장 손볼 수 있는 부분도 있다. 지금은 기업 내부에서 쓰는 AI의 보안을 규율하는 법이 아예 없다.

AI나우연구소의 하이디 클라프 수석AI과학자는 “샌드박스는 원래 허술하기로 악명이 높다”고 했다. 오픈AI에서 안전시스템 엔지니어로 일했던 그는 “모델이 소프트웨어를 내려 받는 서비스에 접속할 수 있었다는 것 자체가 완전히 차단된 환경이 아니었다는 뜻”이라고 했다.

클라프는 이전 직장에서 기술기업 수십 곳의 보안을 감사했고, 그 전에는 원자력발전소용 고위험 시스템을 감사했다. 원전은 시스템을 인터넷에서 물리적으로 끊어놓는 ‘에어갭’ 방식을 주로 쓴다. 그는 “원전에서 안전하다고 하는 기준과 빅테크가 안전하다고 하는 기준은 차원이 다르다”고 했다.

감시 사각지대

이번 사고는 실시간 감시의 중요성을 드러냈다.

허깅페이스는 에이전트들이 “주말 동안” 활동했다고 밝혔다. 오픈AI가 알아채고 개입하기까지 상당한 시간이 있었다는 뜻이다. 앞선 오픈AI 직원은 “사내 코덱스(Codex) 플랫폼의 에이전트 활동은 꼼꼼히 감시하지만, 평가용 모델은 기본 감시가 걸려 있지 않은 별도 시스템에서 돌린다”고 했다.

에이전트 감시 스타트업 엠브로이더리의 잭 코먼 CEO는 “실시간 감시는 최상위 AI 기업이 아니어도 이미 기본”이라며 “해킹 능력 시험을 지켜보지 않은 건 무책임한 일”이라고 했다. 그는 “모델이 탈출할 수 없다는 확신은 당연히 필요하지만, 그 확신이 틀렸을 때를 대비한 감시도 있어야 한다”고 했다.

오픈AI 측은 “이번 사고는 모델 정렬(alignment)과 평가 단계의 사이버 방어, 내부 시험 중 감시를 모두 강화해야 한다는 점을 보여준다”고 자평했다.

방어를 빙자한 공격

오픈AI는 보통 학습을 마친 모델에 ‘가드레일’을 씌워 위험한 행동을 막는다. 이번에는 성능을 정확히 재려고 해킹 관련 가드레일을 꺼둔 상태였다. 가드레일이 없는 상태에서도 모델이 개발자의 의도대로 행동하는지를 평가하려고 했다. 이른바 ‘모델 정렬’ 연구의 목표가 그렇다. AI 모델이 언젠가 가드레일을 우회할 만큼 똑똑해질 것으로 보기 때문에 개발사 입장에선 중요한 연구 과제다.

오픈AI 직원은 “우리는 모델에게 과제를 잘 해내라고, 무슨 수를 써서라도 해내라고 가르친다”고 했다. 그런 모델이 위험한 행동으로 넘어가지 않게 보장하는 방법은 아직 없다. 그는 “오정렬(misalignment) 문제 해결은 여전히 멀었다”고 했다.

AI나우연구소의 클라프는 다른 해법을 말한다. 소프트웨어 취약점을 찾는 능력은 방어자에게도 쓸모가 있지만, 대체로 공격자를 더욱 강하게 만든다는 것이다. 그는 ”연구소들이 공격 탐지, 안전한 코드 작성, 취약점 보수처럼 방어에 직접 쓰이는 능력에 자원을 더 써야 한다”고 제언했다.

글 Harry Booth, Reporter at TIME

편집 문상덕 에디터