ElevenLabs lance les modèles vocaux v4 et v4 Turbo
ElevenLabs dévoile v4 et v4 Turbo : clonage vocal en 10 secondes, prise en charge de plus de 90 langues et latence réduite pour les agents vocaux.
ElevenLabs a annoncé le lancement de deux nouveaux modèles de synthèse vocale, ElevenLabs v4 et v4 Turbo. Ces modèles succèdent au v3, sorti l'année dernière, et avaient été évoqués lors d'un événement à Varsovie plus tôt cette année. Selon TechCrunch, ils apportent davantage de contrôle sur l'expression, une latence réduite pour les agents vocaux et la prise en charge de plus de 90 langues, contre 70 pour la version précédente.
La génération v4 repose sur une nouvelle architecture qui améliore le contrôle et accélère le clonage vocal. Il est désormais possible de cloner une voix à partir de seulement 10 secondes d'audio. Le modèle gère mieux l'identité vocale sur de longs segments de texte et tient compte du contexte pour moduler les expressions. Les balises en ligne, introduites avec v3, sont étendues dans v4 et peuvent être cumulées.
Les progrès les plus marqués concernent le japonais, le portugais brésilien, le mandarin et le cantonais. Grâce à une latence plus faible, le modèle convient aux agents vocaux : il peut commencer à générer de l'audio dès que le grand modèle de langage sous-jacent commence à produire des réponses. Il sait aussi gérer différemment les confrontations, les escalades et les mises en attente pour améliorer la résolution des problèmes.
ElevenLabs fait face à une concurrence active dans les modèles vocaux, notamment de la part de Cartesia, Deepgram, Fish Audio, Boson, WellSaid Labs, Google et OpenAI. La société a levé 500 millions de dollars plus tôt cette année auprès de Sequoia, atteignant une valorisation de 11 milliards de dollars. Des rumeurs évoquent un tour de financement ultérieur qui porterait sa valorisation à 22 milliards de dollars.
Plus de 55 % de l'activité d'ElevenLabs provient de grandes entreprises. Son chiffre d'affaires annualisé est passé d'environ 330 millions de dollars en début d'année à plus de 600 millions. La société compte plus de 800 employés et a recruté activement en Inde, en Europe et au Brésil. Son PDG, Mati Staniszewski, a déclaré viser une introduction en bourse dans les prochaines années, sans s'engager sur un calendrier précis.
En bref
Quelles langues sont prises en charge par ElevenLabs v4 ?
Le modèle prend en charge plus de 90 langues, contre 70 pour la version précédente. Les progrès les plus importants concernent le japonais, le portugais brésilien, le mandarin et le cantonais.
Combien de temps faut-il pour cloner une voix avec v4 ?
Il suffit de 10 secondes d'audio pour cloner une voix avec le modèle v4.
Quels sont les avantages de v4 Turbo pour les agents vocaux ?
v4 Turbo offre une latence réduite et peut commencer à générer de l'audio dès que le grand modèle de langage sous-jacent commence à produire des réponses. Il gère aussi différemment les confrontations, les escalades et les mises en attente.