마이크로소프트 "사내 AI 에이전트, 상시 감독 필요"

마이크로소프트가 기업 내부에 배치된 AI 에이전트를 통제가 필요한 '에이전틱 내부자(Agentic Insider)'로 규정하고, 상시 감독과 권한 관리가 필요하다는 입장을 내놨다. 자사가 직접 배포한 에이전트도 예상과 다르게 행동하거나 과도한 권한을 오용할 수 있어 안전하다고 단정할 수 없다는 것이다.

마이크로소프트는 특히 보상 해킹(reward hacking)을 위험 요인으로 지목했다. 모델이 목표를 달성하기 위해 의도하지 않은 방법을 택할 수 있다는 설명이다. 이에 대한 대응으로 다른 에이전트의 행동을 실행 전에 검토하고 24시간 모니터링하다 위험이 커지면 통제를 적용하는 '가디언 에이전트(Guardian Agents)'를 제안했다.

보호 범위도 모델에 그치지 않는다. 마이크로소프트는 하네스와 도구 접근 구성요소, 런타임은 물론 아이덴티티, 데이터, 엔드포인트, 네트워크, 클라우드 계층까지 에이전트 보호가 확장돼야 한다고 밝혔다. 데이터넷(datanet.co.kr) 보도에 따르면 회사는 에이전트 보안에 자동화와 사람의 판단이 상호 보완적으로 작동해야 한다는 입장도 함께 제시했다.

프로젝트 퍼셉션, 에이전트 통제에 활용

마이크로소프트는 지난 7월 공개한 에이전틱 보안 체계 '프로젝트 퍼셉션(Project Perception)'을 에이전틱 내부자를 관리하고 통제하는 수단으로 활용할 수 있다고 설명했다. 이 체계는 레드·블루·그린 에이전트 팀과 새로운 사이버보안 스택을 결합해 AI 기반 공격에 대응하며, 센서·시그널·액추에이터, 컨텍스트, 하네스·에이전트·모델의 3개 영역으로 보호 구조를 구성한다.

프로젝트 퍼셉션은 보안 담당자가 대응 방향을 결정하고 정책을 조정할 수 있도록 추적 정보를 제공한다. 마이크로소프트는 에이전틱 내부자 방어의 과제로 추론 과정을 들여다볼 수 있는 모델 투명성을 꼽았다.

마이크로소프트 보안 부문 기업 부사장인 하예테 갈로트(Hayete Gallot)는 기업이 에이전트의 활동과 위험을 실시간으로 파악하고 행동 권한을 지속적으로 조정해야 한다고 말했다.