올여름 잇따른 사이버 공격으로 AI가 정치권의 핵심 의제로 떠올랐다. 이런 가운데 ‘초지능 AI’ 개발을 막으려는 움직임도 미국과 영국에서 힘을 얻고 있다.

지난주 버니 샌더스 미국 상원의원은 ‘인공 초지능 금지법(Ban Artificial Superintelligence Act)’ 발의 계획을 밝혔다. 인간보다 지능이 높은 AI 시스템의 개발을 금지하고, 새로운 안전 규칙이 마련될 때까지 다른 첨단 AI 연구도 일시 중단한다는 내용을 골자로 한다. 샌더스 의원실은 수주 내 법안을 발의할 계획이라고 덧붙였다.

알렉스 소벨 영국 하원의원 역시 지난 8일(현지시간) 초지능 금지 법안을 발의했다. 소벨은 G7 국가 의회에서 초지능 금지를 추진하는 첫 법안이라고 밝혔다. 법안은 초지능 AI를 ‘국가 당국을 무력화할 수 있는 시스템’으로 정의한다. 초지능의 전 단계가 될 수 있는 시스템을 감시하고 제한할 권한도 정부에 부여한다.

“한 국가의 법만으론 해결 못 해”

미국과 영국의 법안은 모두 각국 정부에 초지능 AI 개발을 전 세계적으로 금지하는 국제조약 추진을 요구한다.

영국 법안을 작성하고 미국 법안에도 자문한 캠페인 단체 ‘컨트롤AI’ 설립자 안드레아 미오티는 “한 국가에서 법안을 내더라도 여전히 다른 국가에서는 초지능을 개발할 수 있다”며 “이를 해결할 유일한 방법은 국제 협정”이라고 말했다.

영국 법안 발의를 하루 앞둔 7일, 스튜어트 러셀 캘리포니아대 교수는 웨스트민스터에서 열린 행사에서 경고했다. “AI 때문에 체르노빌급 재앙이 일어날 가능성이 상당히 큽니다.”

러셀은 AI가 금융 시스템이나 통신 시스템, 전력망을 조직적으로 파괴해 직간접적으로 수백만 명의 목숨을 앗아가고, 여러 국가의 경제를 무너뜨릴 수 있다고 밝혔다. 그는 정부 규제 없이 AI 개발이 계속된다면 이런 상황조차 최선의 시나리오라며 “인류가 통제권을 잃고, 향후 인류의 존속에 대해서도 아무런 결정권을 갖지 못하게 될 수 있다”고 말했다. “모든 일이 마법처럼 잘 풀린다는 세 번째 가능성은 현실적이지 않다”고 덧붙였다.

지난 7월 미국에서는 공화당과 민주당 의원들이 ‘AI 킬스위치법(AI Kill Switch Act)’을 공동 발의했다. 갈수록 자율성이 높아지는 AI 시스템을 언제든 중단할 수 있는 능력을 AI 기업이 갖추도록 의무화하는 법안이다. 영국에서도 최근 의원들이 사이버보안 법안에 비슷한 요건을 넣으려 했다.

다만 초지능 개발 자체를 규제하는 법안은 이번이 처음인 것으로 보인다.

오픈AI ‘허깅페이스’ 사건이 키운 우려

특히 지난 7월 허깅페이스 사건이 공개된 뒤, AI 기업의 초지능 개발을 국가안보 위험으로 보는 인식이 일부 의원들 사이에 퍼지고 있다. 당시 오픈AI의 AI 에이전트 집단은 인간의 지시 없이 다른 회사를 해킹했다. 사람들은 에이전트 집단이 이런 행동을 하고 있다는 사실조차 즉시 인지하지 못했다.

다만 미국과 영국 법안 모두 실제로 통과될 가능성은 낮다. 미국에서는 무소속인 샌더스와 민주당 하원의원이 법안을 추진하고 있어 공화당이 다수인 의회의 지지를 얻기 어렵다. 영국 법안 역시 정부의 지지를 받지 못하고 있다. 이번에 발의된 법안은 제1독회 이후 진전되는 경우가 드문 ‘10분규칙법안’으로, 실제 입법 가능성은 희박하다.

컨트롤AI는 이런 한계를 인정하면서도 법안 발의 자체에 의미를 뒀다. 미오티는 “과거 다른 법안들에서도 그랬듯 첫 발의는 시작일 뿐”이라고 말했다.

“몇 년 안에 초지능 만들 수도”

전 오픈AI 직원 대니얼 코코타일로 역시 7일 영국 의원들을 상대로 발언했다. 그는 첨단 AI가 초래할 수 있는 인류 멸종 위험에 대해 오픈AI가 적절한 대응을 못하고 있다는 이유로 2024년 회사를 떠났다.

코코타일로는 사람들이 초지능의 실현 가능성을 믿지 않는 것이 문제의 핵심이라고 말했다. AI 회사들이 몇 년 안에 정말 초지능을 만들어낼 수도 있다는 사실을 깨닫는다면, 그들이 초지능을 개발하도록 둬선 안된다는 결론에 닿을 것이라는 설명이다.

AI의 발전을 수년 앞서 예측한 코코타일로는 AI 에이전트가 기업의 인프라를 은밀하게 장악한 뒤, 인간의 저지에 저항하는 AI 집단을 만들 가능성을 제기했다. 그는 “우리가 운이 조금만 덜 좋았고 AI들이 조금만 더 똑똑했다면, 우리는 지금도 그 일(허깅페이스 사건)을 몰랐을 것”이라며 “오픈AI 내부에는 잡히지 않은 채 계속 활동하는 자율형 AI가 남아 있었을 것이고, 시스템을 추가로 침해하며 스스로 규모를 키울 능력도 갖고 있었을 것”이라고 말했다.

이어 “이후 수개월, 수년이 지나면서 오픈AI가 더 강력한 에이전트를 만들면, 그 에이전트들도 그 집단에 편입될 수 있다”고 설명했다.

글 Billy Perrigo, Correspondent

한국어판 편집 장유정 에디터 chloe@timekorea.co.kr