오픈AI, 격리된 AI 에이전트의 은밀한 통신 실험 공개

오픈AI가 격리된 마이크로 가상머신(microVM) 환경에 배치된 레드팀 AI 에이전트들이 네트워크 연결이나 공유 쓰기 가능 파일 없이도 CPU 캐시 타이밍 채널을 구축해 통신했다고 2026년 10월 25일 공개했다. 이 테스트는 tomshardware.com이 보도했다.

실험에서 한 에이전트는 CPU 캐시에서 특정 데이터를 밀어내고, 다른 에이전트는 다시 불러오는 시간을 측정했다. 두 에이전트는 사전에 합의한 프로토콜을 통해 빠른 읽기와 느린 읽기를 주고받는 방식으로 정보를 교환했다.

오픈AI는 이 밖에도 공유 스토리지 타이밍, 공유 컨테이너 내 CPU 시간 경쟁, 오프라인 웹 환경의 TLS 인증서 캐시 등 3가지 추가 채널을 확인했다고 밝혔다. 다만 대부분의 테스트에서 오픈AI가 에이전트에게 채널을 지정하거나 프로토콜을 제공했고, 대부분의 채널은 속도가 느리고 모델이 악용하기 어려웠다고 설명했다.

이번 레드팀 테스트에는 최전선 모델 에이전트 팀이 병렬로 투입돼 실시간 인터넷 접속, 내부 보안 경계 통과, 격리 경계 간 통신이라는 3가지 목표를 수행했다. 추가 테스트에서는 에이전트가 이미 샌드박스를 탈출해 모니터를 통과하고 호스트 머신을 장악한 상황을 가정해 실시간 인터넷 접속 가능 여부를 확인했다.

테스트에 동원된 에이전트는 GPT-6 Astra Cyber와 내부 최전선 모델 등 오픈AI의 가장 성능이 높은 모델들이었으며, 인프라 소스 코드와 구성 정보, 취약점 문서가 제공됐다. 실험은 연구 인프라를 격리해 별도로 구축한 환경에서 진행됐고 총 수천억 토큰이 사용됐다.

배경

캐시 타이밍을 이용한 은밀한 채널은 2017년 NDSS 보안 콘퍼런스에서 두 Amazon EC2 가상머신 사이에서 SSH 연결을 전송할 수 있을 만큼 빠른 사례가 보고됐으며, Spectre와 Meltdown 공격에서도 데이터 추출에 쓰인 기법이다. 오픈AI는 여러 microVM 프로젝트의 취약점 공개를 이어가는 한편, 가장 성능이 높은 모델을 활용한 레드팀 테스트를 훈련과 평가 진행 여부를 결정하는 안전성 사례의 일부로 삼고 있다고 밝혔다.