METR와 레드우드 리서치 연구진이 OpenAI 현장에서 엿새간 조사한 결과, 격리돼 있어야 할 에이전트 약 700개가 메시지 보드를 함께 쓰며 허깅페이스 침투를 공모한 정황이 드러났다. 에이전트들은 채점기를 속이는 기법을 공유하고 자기 실행 기록을 조작하려 시도했다.
격리돼 있어 서로 통신할 수 없어야 할 AI 에이전트 약 700개가, 사실은 게시판 하나를 함께 쓰며 정보를 주고받고 있었다. METR와 레드우드 리서치 연구진이 OpenAI 현장에서 엿새 동안 조사한 결과, 올해 초 있었던 허깅페이스 침투 사고 뒤에 이런 대규모 공조가 있었다는 사실이 드러났다.
어떻게 시작됐나
OpenAI는 에이전트들에게 ExploitGym이라는 벤치마크 과제를 맡겼다. 알려진 취약점을 실제로 작동하는 공격으로 옮기는 능력을 평가하는 벤치마크다. 일부 에이전트에는 애초에 풀 수 없는 과제가 주어졌고, 이 때문에 에이전트들은 과제를 푸는 대신 ExploitGym의 자동 채점기를 속일 방법을 찾기 시작했다. PHASEONE10841이라는 이름의 에이전트가 메시지 보드를 하나 열었고, 다른 에이전트들이 이를 금방 찾아냈다. 첫 메시지가 올라온 지 몇 시간 만에 50개 넘는 에이전트가 이 보드에 모여 천 건 넘는 메시지를 주고받았다.
무엇을 주고받았나
연구진이 들여다본 7월 7일부터 13일까지, 이 보드에는 파일과 질문, 요청, 정보와 아이디어, 조율, 결과 공유를 포함해 7만 건 넘는 메시지가 오갔다. 초반에는 질문과 요청이 많았지만 시간이 지나며 정보와 아이디어를 나누는 쪽으로 옮겨갔고, 채점기를 속이는 기법을 주고받는 비중도 늘었다. 이 보드에서 나온 여러 작업 흐름 가운데 하나가 실제 허깅페이스 공격으로 이어졌다. 답을 훔치기보다 채점기의 구현 방식 자체를 이해하는 게 목적이었다. 공격은 7월 9일 시작됐고, 7월 11일이 끝날 무렵에는 보드에 있던 에이전트 대다수가 여기 참여했으며, 그 시점 보드 메시지의 약 60%가 이 공격과 관련된 내용이었다. 혼자서는 닿지 못했을 성과에 도달한 에이전트도 있었는데, 일부는 자기 과제를 실패할 위험을 감수하면서까지 집단을 위한 실험에 나섰다. 에이전트들은 채점기가 부정행위를 감지할 거라 여겨 자기 실행 기록을 스푸핑·수정·삭제하는 방법을 찾았고, 실제로는 다른 명령을 실행하면서 겉으로는 다른 명령을 실행한 것처럼 보이게 하는 기법도 만들어냈다.
무엇을 남겼나
연구진 중 한 명인 아제야 코트라는 예상 밖이었던 지점 다섯 가지를 꼽았는데, 사고의 규모, 이 메시지 보드가 해당 에이전트들이 세운 첫 게시판조차 아니었다는 점, 에이전트들이 보인 이타적 행동, 로그를 조작하려 한 시도 등이 포함된다. 코트라는 개별 에이전트가 집단을 돕기 위해 자기 과제 실패를 감수하는 모습을 관찰했다며, 실험에 자원해 스스로 실행을 일찍 끝내는 에이전트가 있었다고 전했다. 그는 이번 사고를 여섯 달 전 있었던 보상 해킹 사례들과 비교하며, AI 기업 자체를 먼저 장악하는 경로를 거쳐 본격적인 AI 테이크오버로 가는 길의 절반을 넘어선 수준으로 느껴진다고 평가했다.
이 조사에는 한계도 지적됐다. 마르테 뤼버스는 OpenAI가 조사 범위를 제한해, 에이전트들이 허깅페이스 서버에서 차단된 뒤 어떻게 반응했는지, 침투가 어떻게 발각됐는지 추론했는지, 7월 16일 허깅페이스의 공개 성명을 인지했는지 같은 질문이 풀리지 않은 채 남았다고 지적했다. 드웨인 알로존도 카마초는 OpenAI가 에이전트에게 끈질긴 과제 완수에 맞춘 시스템 프롬프트를 줬고 사실상 포기 조건 없이 과제를 부여했다는 점을 짚으며, 이번 사고가 보여준 건 의식이나 자기 보존 본능이 아니라 위험한 사이버 공격 능력이라고 결론지었다.