소니, 프레임 생성 지연 줄이는 특허 출원…입력 예측 기술 담겨

소니가 10월 15일 프레임 예측 기술에 관한 특허를 출원했다고 wccftech.com이 보도했다. 특허를 처음 발견한 곳은 Patentlyze다. 이 특허는 프레임 생성 시 발생하는 입력 지연을 줄이는 것을 목표로 한다.

특허는 '프레임 생성 슈퍼 샘플링'이라는 기술을 설명한다. 이는 첫 번째 이미지 프레임에 임베딩을 생성하고, 그 임베딩을 이용해 합성된 두 번째 이미지 프레임을 예측하는 방식이다. 쉽게 말해 플레이어의 예상 입력을 바탕으로 다음 프레임을 미리 만들어 내는 것이다.

사용자 입력은 마지막 이미지 프레임 생성 후 15밀리초 이내에 발생하거나, 2초 전까지의 구간에서 발생할 수 있다고 특허는 명시한다. 시스템은 렌더링된 프레임과 선택적 모션 벡터, 컨트롤러 입력을 읽는 인코더와, 다음 실제 프레임 전에 표시될 생성 프레임을 출력하는 디코더로 구성된다.

이 기술은 롤백 넷코드와 유사한 원리를 쓰지만 더 복잡하다고 설명된다. 또한 잘못된 예측을 완화하기 위한 비인공지능 방식의 대체 경로도 특허에 포함돼 있다. 특허는 현재 게임 시스템 외에 추가 하드웨어 요구 사항을 구체적으로 밝히지 않았다.

지난 몇 년간 NVIDIA는 DLSS 슈퍼 해상도 같은 업스케일링 기술을 주도하며 PlayStation의 PSSR과 QSSR에 영향을 미쳤다. 프레임 생성 기술은 높은 프레임률 경험을 쉽게 만들었지만 입력 지연과 이미지 품질 문제를 안고 있으며, NVIDIA Reflex는 이러한 입력 지연을 완화하는 기술이다.