'코드 비디오 모델' 공개...코드로 영상 장면 제어

마이크로소프트가 실행 가능한 코드로 영상 생성을 제어하는 '코드 비디오 모델'(Code Video Model)을 공개했다고 aitimes.com이 2026년 10월 11일 보도했다.

이 모델은 코딩 에이전트를 영상 생성 엔진으로 활용해 프롬프트를 실행 가능한 프로그램으로 변환한다. 에이전트는 사물의 위치와 움직임, 타이밍, 카메라 경로를 코드로 작성하며 물리 방정식을 적용한다.

1분 이내 프록시 영상 생성

코드 비디오 모델은 1분 이내에 프록시 영상과 참조 이미지를 생성한다. 이후 사전 학습된 참조-투-비디오(R2V) 모델이 프록시 영상과 참조 이미지를 바탕으로 최종 고화질 영상을 만든다.

연구팀은 '얼리 스텝 컨디셔닝'(early-step conditioning) 기법도 적용했다. 이는 프록시 영상을 샘플링 초기 단계에만 조건으로 사용하고 이후에는 제거하는 방식이다.

연구팀은 게임, 장면 편집, 물리 기반 모션, 블렛 타임, 3D·4D 재구성을 아우르는 벤치마크 '코드비디오벤치'(CodeVideoBench)도 함께 공개했다.

코드 비디오 모델과 R2V 모델인 '미니맥스-H3'(MiniMax-H3)를 결합한 결과, QwenVL-3.8-27B에서 85.2점, GPT-5.6에서 82.1점, GPT-6에서 85.8점을 기록했다. 기존 최고 성능 학습 기반 모델인 VACE는 같은 벤치마크에서 각각 74.3점, 73.1점, 80.6점을 받았다. 가중치와 관련 코드는 깃허브와 허깅페이스를 통해 공개됐다.