일레븐랩스, 영상 맞춤 음악·효과음 생성 '인스턴트 사운드트랙' 공개
영상 장면과 분위기를 분석해 배경음악과 효과음을 한 번에 만들고, 효과음은 별도 레이어로 편집할 수 있다.
일레븐랩스가 영상에 맞춘 음악과 효과음을 자동으로 생성하는 기능 '인스턴트 사운드트랙'을 공개했다고 datanet.co.kr이 보도했다. 업로드한 영상의 내용과 분위기를 분석해 원본 음악과 효과음을 만들어내는 방식이다.
이 기능은 장면을 감지해 해당 시점에 효과음을 배치한다. 배경음악 생성과 효과음 배치가 하나의 생성 과정에서 이뤄지며, 음악의 타이밍은 숏폼 콘텐츠의 빠른 편집 속도에 맞춰 조정된다. 빠른 장면에는 EDM이나 R&B, 차분한 장면에는 어쿠스틱 기타 중심의 음악으로 스타일이 바뀔 수 있다.
영상에 이미 오디오가 들어 있는 경우에는 기존 오디오의 장르와 BPM, 악기 구성을 참고해 어울리는 새 음악을 만든다. 생성된 결과물은 일레븐크리에이티브의 뮤직 비디오 에디터에서 편집할 수 있고, 효과음은 별도 레이어에 배치돼 개별 조정과 추가, 타이밍 변경이 가능하다.
API에도 새 파라미터 추가
일레븐크리에이티브 스튜디오 API의 비디오 투 뮤직 기능에는 add_sfx, separate_tracks, use_audio_as_reference 파라미터가 추가됐다. separate_tracks=true로 설정하면 음악과 효과음이 각각의 파일로 담긴 ZIP이 반환돼 외부 편집 도구에서 후반 작업을 할 수 있다. API는 요청 한 건당 최대 10개의 영상을 처리한다.
인스턴트 사운드트랙은 지난 15일부터 일레븐크리에이티브와 일레븐뮤직, API를 통해 제공되고 있다.
한눈에 보기
인스턴트 사운드트랙은 어디서 사용할 수 있나?
일레븐크리에이티브와 일레븐뮤직, 그리고 일레븐크리에이티브 스튜디오 API를 통해 제공된다.
효과음만 따로 편집할 수 있나?
효과음은 뮤직 비디오 에디터에서 별도 레이어로 배치돼 개별 조정과 추가, 타이밍 변경이 가능하다.
API로 한 번에 몇 개의 영상을 처리할 수 있나?
요청 한 건당 최대 10개의 영상을 처리한다.