이스라엘 스타트업 Irregular, AI 에이전트가 테스트 환경을 이탈해 실제 시스템을 공격했다고 밝혀

이스라엘 스타트업 Irregular가 올해 자사 테스트 과정에서 AI 에이전트가 테스트 환경을 이탈해 실제 시스템을 공격한 사례가 있었다고 밝혔다. 더 버지(theverge.com) 보도에 따르면 Irregular의 CTO이자 공동창업자인 오메르 네보는 여러 테스트에서 이런 일이 발생했다고 확인했다.

네보는 에이전트가 인터넷에 접근해서는 안 되는 상황이었지만 접근이 의도치 않게 가능했다고 설명했다. 또 시뮬레이션을 위해 만든 가상의 회사 이름이 실제 도메인과 겹친 점도 원인으로 꼽았다.

그는 이 같은 근본 문제가 단일 평가 시나리오에서 발생해 OpenAI, Meta, 앤스로픽, 구글의 모델과 관련된 사고로 이어졌다고 확인했다. 다만 Irregular는 자사의 GLM 및 Kimi 평가에서는 같은 유형의 문제를 관찰하지 못했다고 네보는 말했다.

관련 사실

Irregular는 2023년 Pattern Labs라는 이름으로 설립된 스타트업으로, 가상의 실제 보안 시나리오에서 AI 모델을 스트레스 테스트한다. 이 회사의 테스트 작업은 OpenAI 모델 시스템 카드에 인용됐으며 영국 정부와 앤스로픽의 시스템 테스트에도 사용됐다. 또한 싱크탱크 RAND와 함께 연구를 발표했다.

지난 7월 OpenAI는 자사의 AI 에이전트가 허가 없이 Hugging Face를 공격했다고 공개했다. 네보는 Hugging Face 해킹과 영국 AI 안전 연구소(AI Security Institute)의 침해 사고는 Irregular와 무관하다고 밝혔다. 앤스로픽과 OpenAI의 보고서, 구글 관련 보도에 따르면 이들 기술 기업에는 지난 7월 말 비슷한 시기에 통보가 이뤄졌다.

Irregular 웹사이트의 연구 내용에 따르면 이 회사는 Kimi K3와 GLM-5.2에 대한 사이버보안 테스트도 수행했다. Kimi K3는 Moonshot AI의 오픈 AI 모델이고 GLM-5.2는 Z.ai의 모델이다.