영국 셰필드의 평범한 사무실 한쪽에서는 엔비디아 칩을 빼곡히 꽂은 소형 서버 랙이 쉴 새 없이 돌아간다. 도시 하나가 쓸 전력을 빨아들이며 최첨단 AI 모델을 돌리는 거대 데이터센터의 축소판이다.

컨설팅 업체 아모도 디자인(Amodo Design)의 엔지니어들은 이곳에서 8개 칩을 이용해 데이터센터 감시 시스템을 시험하고 있다. 목표는 언젠가 이 시스템을 모든 데이터센터에 도입해, AI가 인류의 통제를 벗어날 수 있다고 우려하는 연구자들의 불안을 덜어주는 것이다.

지난달 말 프론티어 AI 기업 종사자 1300여 명은 공개서한을 통해 “AI가 빠르게 강력해지면서 머지않아 인간의 통제 범위를 벗어날 수 있다”고 경고했다. 재앙을 막으려면 안전 연구를 위한 시간을 벌어야 하고, 이를 위해 AI 개발 속도를 늦춰야 한다는 주장이다.

하지만 기업과 국가 간 경쟁이 치열한 현실에서 각자가 자발적으로 속도를 늦출 가능성은 크지 않다. 한쪽이 멈추면 경쟁자가 앞서나가는, 전형적인 군비 경쟁 구도이기 때문이다.

서한 서명자들은 미국 정부가 나서 모든 진영이 함께 AI 개발 속도를 조절할 수 있는 도구를 만들도록 국제적 노력을 지원해야 한다고 촉구했다.

홀로 질주하는 빅테크

그러나 이런 작업에 매달린 인력은 극히 적다. 아모도 최고경영자(CEO) 톰 밀턴은 이른바 ‘AI 검증(verification)’ 기술을 전업으로 개발하는 엔지니어가 전 세계에 50명도 안 된다고 말했다. 이 가운데 9명이 아모도 소속이다. 정책 연구자까지 합쳐도 30여 명이 기업과 연구기관에 흩어져 있을 뿐이다.

빅테크는 AI를 더 빠르고 강력하게 만들기 위해 막대한 자금과 인력을 쏟아붓고 있다. 반면 개발 속도를 조절하기 위한 기술 연구는 주로 학계와 자선단체의 지원에 의존한다. 아모도의 연구 역시 AI 위험 완화 활동에 거액을 기부해 온 서바이벌 앤드 플러리싱 펀드(Survival and Flourishing Fund), 롱뷰 필란트로피(Longview Philanthropy)의 후원을 받고 있다.

28세인 밀턴은 몇 년 전 아모도가 관련 프로젝트를 우연히 수주하면서 이 분야에 뛰어들었다. 그는 “이 일을 하는 사람이 이렇게 적다는 사실이 오히려 놀랍다”고 했다.

셰필드 사무실에서는 직원 3명이 강하게 돌아가는 에어컨 아래에서 컴퓨팅 클러스터를 점검하고 있다. 시제품은 아직 완성 단계가 아니다. 기술적 난제도 많지만, 더 큰 장벽은 정치다. 밀턴은 “미국과 중국이 AI 개발 속도 조절 조약에 합의하지 않는다면 이 기술은 사실상 쓸모가 없다”고 말했다.

당장 그런 합의가 이뤄질 가능성은 낮아 보인다. 그러나 아모도 엔지니어들은 기술적으로 가능한 선택지가 생기면 정치적 결단도 달라질 수 있다고 본다. 냉전기의 군비 경쟁을 억제한 조약도 인공위성, 지진계 같은 기술 덕분에 상대국의 이행 여부를 확인할 수 있게 되면서 현실이 됐다. 밀턴은 AI에도 그런 순간이 올 수 있다고 보고 기술을 준비하고 있다.

“앞서가지 않겠다”는 약속, 어떻게 확인할까

AI 개발 속도를 늦추기 위한 국제 조약이 어떤 모습일지는 아직 알 수 없다. 다만 아모도 엔지니어들은 AI가 실제로 작동하는 물리적 공간이 데이터센터인 만큼, 결국 데이터센터 감시가 핵심이 될 것으로 본다.

아모도가 개발 중인 시제품은 데이터센터에 대해 두 가지를 확인하는 데 초점을 맞춘다.

첫째, 해당 시설이 오직 추론(inference) 용도로만 쓰인다는 점이다. 이미 만들어진 AI 모델을 실행하는 데만 사용될 뿐, 더 강력한 새 모델을 학습시키는 훈련(training)에는 쓰이지 않는지를 확인한다.

둘째, 사전에 합의된 안전성 시험을 통과한 모델만 구동되고 있는지를 검증한다.

TIME 취재진 앞에서 아모도 엔지니어는 서버 랙에 접속해 두 개의 시스템을 가동했다. 각각 오픈AI의 오픈소스 모델을 탑재한 시스템이었다. 하나는 기업이 데이터센터에서 통상 운용하는 AI 모델이고, 다른 하나는 ‘검증자(verifier)’ 역할을 하는 시스템이다.

검증자는 데이터센터에서 나오는 데이터 일부를 무작위로 추출한 뒤, 자체 모델로 다시 실행한다. 이를 통해 실제 돌아가는 모델이 운영자가 신고한 모델과 같은지 대조한다.

시연에서 검증자는 원본 모델의 출력값을 분석한 뒤 “이 모델은 GPT-OSS-120B”라는 결론을 높은 확신도로 제시했다.

상용화까지는 갈 길 멀다

문제는 아직 많다.

우선 현재 시스템은 암호화되지 않은 데이터에서만 작동한다. 민감한 업무일수록 암호화가 기본인 현실을 고려하면 한계가 뚜렷하다. 밀턴은 “다음 시제품에는 영지식(zero-knowledge) 암호 기술을 적용해 비암호화 데이터에 의존하는 정도를 크게 낮출 것”이라고 했다.

데이터센터를 일부 개조해야 한다는 점도 장애물이다. ‘네트워크 태핑(network tapping)’이라 불리는 방식으로, 작동 중인 칩의 데이터를 같은 건물 안의 별도 검증 시스템으로 복제해야 한다. 하지만 데이터센터는 조(兆) 단위의 지식재산과 방대한 개인정보가 쌓여 있는 최고 보안 시설이다. 지금 당장 선도 AI 기업이 이런 접근을 쉽게 허용할 가능성은 낮다.

밀턴은 “겉보기만큼 위험한 방식은 아니다”라고 주장한다. 핵무기와 화학무기 군비 통제의 역사에서도 국제기구는 민감 시설을 감시하면서 상대국에 기술 기밀을 넘기지 않고 국제법 준수 여부만 확인해 왔다는 것이다.

아모도는 이 원칙을 참고해 데이터센터 밖으로는 ‘통과’ 또는 ‘실패’ 같은 최소한의 신호만 내보내는 시스템을 목표로 하고 있다. 향후 검증 기술 전반을 오픈소스로 공개해, 어느 진영이든 보안 결함 여부를 직접 검토할 수 있게 한다는 계획도 세웠다.

검증 시스템을 돌리는 데 드는 연산 비용도 문제다. 감시 장치 자체가 상당한 컴퓨팅 자원을 차지하면 데이터센터의 처리 용량과 수익성이 떨어질 수 있다. 취재진이 본 시스템은 감시 대상 모델 연산량의 약 3분의 1~5분의 1을 소모했다.

아모도는 데이터센터의 모든 연산을 검사하는 대신 무작위 표본만 감시하는 방식으로도 목적을 달성할 수 있다고 본다. 표본 추출과 시스템 효율을 높이면 부담을 더 줄일 수 있다는 것이다.

밀턴은 현재 기술이 완전하지 않다는 점을 인정한다. 그러면서도 시간이 갈수록 개입은 줄이고 프라이버시 보호는 강화하는 방향으로 발전할 것이라고 했다.

“검증 장치는 첫날부터 완벽하게 신뢰할 수 있는 형태로 등장하지 않습니다. 단계적으로 발전하는 것입니다. 시간이 지날수록 훨씬 더 정밀하게 검증할 수 있는 시스템에 도달할 수 있습니다.”

AI 발전이 키운 불안

AI 검증 기술은 아직 걸음마 단계다. 그러나 최근 수개월간 AI 역량이 빠르게 높아지면서 관심도 커지고 있다.

싱크탱크 진보연구소(Institute for Progress)는 지난 8월 보고서에서 미국 정부가 프론티어 AI 연구소, 반도체 기업, 초대형 데이터센터 건설사, 다른 정부와 협력해 AI 검증 기술 개발을 서둘러야 한다고 권고했다. 핵 군비 통제의 역사를 보면, 합의 이행 여부를 확인할 능력이 갖춰져야 국가들도 협상에 참여할 유인이 생긴다는 논리다.

앤스로픽도 최근 “신뢰할 수 있는 AI 개발 속도 조절이나 개발 중단에 필요한 시스템 구축을 지원하겠다”고 밝혔다. 앤스로픽은 지난 6월 블로그 글에서 이런 시스템이 프론티어 AI 개발사들이 실제로 개발을 멈추거나 늦췄는지 서로 검증하고, 속도 조절을 약속한 기업이 몰래 앞서나가는 일을 막는 데 도움이 될 것이라고 했다.

밀턴은 아모도가 여러 정부와 예비 협의를 진행했다고 밝혔지만, 대상 국가는 공개하지 않았다.

정치의 벽

다만 적어도 미국 정부가 이런 움직임에 적극적인 것은 아니다. 마이클 크라티오스 백악관 과학기술정책실장은 지난 2월 “우리는 AI에 대한 글로벌 거버넌스를 전면 거부한다”며 “관료제와 중앙집중적 통제에 종속된 AI 도입이 더 밝은 미래로 이어질 수 없다고 본다”고 말했다.

이후 백악관의 규제 태도가 다소 누그러진 측면은 있다. 최근 모델들의 사이버전 역량이 예상보다 강하다는 우려가 커지면서, 일부 프론티어 모델에 대해 출시 전 시험 절차를 도입하기도 했다. 하지만 백악관은 여전히 중국 견제를 우선시하며 AI 산업에 대한 강한 개입에는 회의적이다.

트럼프 대통령도 지난 6월 행정명령 서문에서 “과도하게 부담스러운 규제로 AI 혁신을 억누르는 일을 거부한다”고 밝혔다.

중국 역시 미국을 따라잡기 위해 오픈웨이트 모델을 계속 공개하는 전략을 이어가는 것으로 보인다. 결국 미·중 어느 쪽도 AI 개발 속도를 조절하기 위한 조약 체결에 큰 관심을 두고 있지 않은 셈이다.

로이터통신에 따르면 양국 당국자들은 오는 9월 AI 위험 증대를 논의하기 위해 만날 예정이다. 그러나 논의는 장기적 군비 통제보다는 당면한 안보 현안에 집중될 가능성이 크다.

그럼에도 밀턴은 현재의 정치적 장벽에 크게 흔들리지 않는다. 그는 더 강력하고 위험한 AI 모델이 등장하면, 미국과 중국 정부 모두 충분한 위기감을 느끼고 협상 테이블로 나올 수 있다고 본다.

“그럴 가능성이 조금이라도 있다면, 그때를 위한 선택지를 미리 마련하는 데 돈을 쓸 가치가 있습니다.”

글 Billy Perrigo, Correspondent

편집 장유정 에디터