Vessel AI a opéré l'inférence mondiale de Solar Pro 4 d'Upstage

Vessel AI a annoncé avoir opéré le service d'inférence mondial pour Solar Pro 4 d'Upstage, traitant les requêtes des utilisateurs du monde entier sur son infrastructure GPU.

L'entreprise a utilisé des serveurs GPU répartis dans des centres de données en Corée du Sud, en Europe et aux États-Unis pour répondre à la demande internationale.

Selon platum.kr, Vessel AI a coordonné avec Upstage les calendriers de lancement et de promotion ainsi que la demande attendue afin de dimensionner la capacité de traitement nécessaire.

L'entreprise a indiqué avoir recours à une meilleure utilisation du cache et à des techniques de quantification pour augmenter la vitesse de traitement d'un facteur 2 en moyenne, et jusqu'à 3, tout en réduisant le coût par token jusqu'à moitié.

Vers septembre, Solar Pro 4 a atteint la troisième place en termes d'utilisation sur la plateforme mondiale de routage de LLM OpenRouter.