ElevenLabs lance Instant Soundtracks pour habiller les vidéos
L'outil analyse les scènes d'une vidéo pour générer musique et effets sonores synchronisés, via ElevenCreative, ElevenMusic et l'API.
ElevenLabs a lancé Instant Soundtracks, une fonction qui analyse une vidéo envoyée par l'utilisateur pour en déduire le contenu et l'ambiance, puis génère automatiquement une musique originale et des effets sonores, selon datanet.co.kr.
Le système repère les scènes et place les effets sonores aux horodatages correspondants. Création de musique de fond et placement des effets sont réunis dans un seul processus de génération.
Un rythme pensé pour le format court
Le minutage musical est calibré sur le rythme de montage rapide des contenus courts, et le style peut suivre l'ambiance des scènes : EDM ou R&B pour les séquences rapides, guitare acoustique pour les plus calmes. Lorsqu'une vidéo contient déjà de l'audio, l'outil s'appuie sur son genre, son BPM et son instrumentation pour produire une nouvelle musique adaptée.
Les éléments générés se modifient dans le Music Video Editor d'ElevenCreative, les effets sonores occupant une piste séparée pour être ajustés, ajoutés ou replacés indépendamment.
Instant Soundtracks est proposé depuis le 15 via ElevenCreative, ElevenMusic et l'API. Côté développement, trois paramètres ont été ajoutés à la fonction Video to Music de l'ElevenCreative Studio API : add_sfx, separate_tracks et use_audio_as_reference. Avec separate_tracks=true, musique et effets sonores sont renvoyés dans des fichiers distincts au sein d'une archive ZIP, pour un mixage ultérieur dans un outil de montage externe. L'API traite jusqu'à 10 vidéos par requête.
En bref
Qu'est-ce qu'Instant Soundtracks d'ElevenLabs ?
Une fonction qui analyse une vidéo envoyée pour générer automatiquement une musique originale et des effets sonores synchronisés avec les scènes.
Où utiliser Instant Soundtracks ?
La fonction est disponible depuis le 15 via ElevenCreative, ElevenMusic et l'API.
Combien de vidéos l'API peut-elle traiter par requête ?
Jusqu'à 10 vidéos par requête.