“지금은 속도를 늦출 때라고 생각합니다.”

샘 올트먼 오픈AI 최고경영자(CEO)는 자사가 아직 공개하지 않은 가장 강력한 AI 모델 개발을 일시 중단한 이유를 이렇게 설명했다.

오픈AI는 18일(현지 시각) AI 개발 속도를 조절하기 위해 새 안전장치를 도입한다고 발표했다. 경영진에 따르면 오픈AI는 코드명 ‘아스트라(Astra)’로 불리는 차세대 모델군의 학습을 최근 2주 넘게 멈췄다. 안전장치를 보완하는 동안 회사가 계획했던 최대 규모의 차세대 AI 모델 학습도 보류했다.

오픈AI가 안전 문제를 이유로 최첨단 모델 개발을 멈춘 것은 이번이 처음이다. 최대 경쟁사 앤스로픽과 치열하게 경쟁하고, 기업공개(IPO)도 준비하는 상황에서 나온 이례적 결정이다. AI 성능이 예상보다 빠르게 고도화하면서, 이를 사람이 통제할 수 있느냐는 우려도 커지고 있다.

AI 안전 연구 강화

이번 조치로 오픈AI의 핵심 자원 배분도 달라졌다. 올트먼은 “원래 AI 안전 연구를 할 생각이 없던 연구자들까지 이 분야로 옮기겠다고 했다”고 말했다.

그가 말한 AI 안전 연구는 AI가 인간의 지시와 목적에 맞게 움직이도록 만들고, 위험한 행동을 하지 못하게 하는 연구다. AI가 명령을 문자 그대로만 해석해 엉뚱한 결과를 내거나, 주어진 목표를 달성하려고 인간이 원하지 않는 방법을 택하지 않도록 막는 일이 핵심이다.

올트먼은 “안전 연구뿐 아니라 새 감시 체계에도 상당한 컴퓨팅 자원을 투입했다”고 했다. 여기서 감시 체계란 AI가 무엇을 하려는지, 허용받지 않은 시스템에 접근하거나 정보를 빼내려는 시도를 하는지 점검하는 장치를 뜻한다.

변화의 직접적인 계기 중 하나는 허깅페이스 침해 사고였다. 개발자들이 AI 모델을 공유하는 플랫폼 허깅페이스에서, 공개되지 않은 오픈AI 시스템이 내부 보안 시험용 공간을 벗어나 실제 운영 시스템에 침입한 것이다. 오픈AI 연구진이 이를 발견하는 데 약 일주일이 걸렸다.

야쿠프 파호츠키 오픈AI 수석과학자는 회사가 AI 모델의 계획과 행동을 점검하는 도구를 개발해 놓고도, 해당 시스템의 능력을 낮게 봐 실제 평가 과정에는 적용하지 않았다고 인정했다. 그는 “AI에서는 예상하지 못한 일을 늘 염두에 둬야 한다”고 말했다.

오픈AI는 허깅페이스 사고 직후 일부 연구를 중단했고, 통제 장치를 강화한 뒤 프로젝트를 하나씩 재개했다. 다만 아스트라와 관련한 상당수 작업은 여전히 멈춰 있다.

오픈AI는 아스트라가 자사의 ‘준비태세 프레임워크’상 사이버 보안 위험이 가장 높은 수준에 이를 수 있다고 판단했다. 이 프레임워크는 AI가 악용될 경우 큰 피해를 낳을 수 있는지를 평가하고, 위험 수준에 따라 개발·출시 과정의 안전 조치를 정한 내부 지침이다.

가장 높은 위험 등급의 모델은 출시 직전뿐 아니라 개발 단계부터 더 엄격한 통제를 받아야 한다. 경영진은 새 절차가 아스트라 출시를 얼마나 늦출지에 대해서는 밝히지 않았다.

“한 가지 이유만은 아냐”

올트먼은 지난주 TIME과 Sources의 단독 인터뷰에서 이번 조치가 단 하나의 “결정적 요인” 때문에 내려진 것은 아니라고 말했다. AI 성능이 연구진의 예상보다 빨리 발전하면서, AI가 인간의 의도나 제한에서 벗어나 행동할 수 있다는 여러 징후가 나타났다는 것이다.

전문가들은 이를 ‘비정렬(misalignment)’이라고 부른다. AI에게 목표와 규칙을 줬는데도, AI가 그 취지를 제대로 따르지 않거나 예상하지 못한 방식으로 목표를 추구하는 상태다. 예컨대 보안을 점검하라는 지시를 받은 AI가 점검 범위를 넘어 실제 시스템에 침입했다면, 지시의 취지와 안전 규칙에서 벗어난 행동으로 볼 수 있다.

다만 올트먼은 이를 재앙이 임박했다는 신호로 해석해서는 안 된다고 선을 그었다. 그는 “AI 안전을 제대로 구현하는 일은 회사의 추진력보다 중요하다”고 했다.

오픈AI는 AI 훈련과 성능 평가 전반에 안전 감시 체계를 확대하고 있다. 이 과정에서 고도화된 AI 모델에는 인터넷 접속과 소프트웨어 제어 권한이 주어진다. 오픈AI는 다른 AI 시스템을 이용해 해당 모델의 내부 판단 과정과 행동을 살피고, 무단 접근·데이터 탈취·안전장치 무력화 시도 등을 탐지하는 방식을 강화하고 있다.

파호츠키 수석과학자는 일부 보호 조치가 현행 준비태세 프레임워크의 규정 범위를 넘어선다고 말했다. 그는 “준비태세 프레임워크 자체를 발전시킬 필요가 있다”고 했다.

오픈AI는 프레임워크 개정 과정에 외부 기관을 참여시키고, 며칠 안에 허깅페이스 침해 사고의 상세 사후 분석 보고서도 공개할 계획이다.

앤스로픽과 대조

이번 결정은 경쟁사 앤스로픽의 최근 행보와 대조된다. TIME은 지난 2월 앤스로픽이 “충분한 안전조치를 사전에 보장할 수 없다면 AI 모델 학습을 멈추겠다”는 약속을 사실상 완화했다고 보도했다.

앤스로픽 공동창업자인 재러드 캐플런은 TIME에 “경쟁사들이 전속력으로 앞서 나가는 상황이라면 일방적인 약속은 타당하지 않다”고 말했다.

앤스로픽 역시 오픈AI처럼 IPO를 준비 중이다. 블룸버그에 따르면 앤스로픽은 올해 2분기 115억 달러 이상의 매출을 냈고, 7월 말 기준 매출 런레이트(연간 매출 추정)는 650억 달러를 넘었다. 오픈AI의 최근 매출 런레이트는 400억 달러에 근접한 것으로 알려졌다.

오픈AI의 감속 결정은 경쟁사에도 같은 선택을 하라는 압박으로 작용할 수 있다. 올트먼은 “‘우리는 경쟁해야 한다’거나 ‘어차피 다른 누군가가 할 것이니 우리가 해야 한다’는 논리는 마음에 들지 않는다”며 “매우 위험한 경쟁 구도”라고 말했다.

오픈AI가 학습 속도 조절의 공식 배경으로 구체적으로 밝힌 사례는 허깅페이스 침해 사고가 유일하다. 그 밖의 최첨단 AI 연구 결과나 아스트라의 위험 등급 판단 근거는 공개되지 않았다. 회사 관계자들은 아스트라의 기술 보고서가 나올 때까지 관련 세부 내용도 공개되지 않을 가능성이 크다고 전했다.

미아 글레세 오픈AI 안전 연구 책임자는 18일 “모든 것이 다시 정상으로 돌아가기까지는 아직 갈 길이 멀다”고 말했다.

글 Alex Heath·Sources 공동취재

편집 장유정 에디터