Vessel AI fournira l'infrastructure d'inférence mondiale de Solar Pro 4 d'Upstage
Vessel AI annonce prendre en charge le service d'inférence mondial du modèle de langage Solar Pro 4 d'Upstage.
Vessel AI a annoncé qu'elle fournira l'infrastructure d'inférence mondiale du grand modèle de langage Solar Pro 4 d'Upstage, selon digitaltoday.co.kr.
L'entreprise indique avoir appliqué plusieurs technologies internes : l'amélioration du taux de succès du cache, la quantification du modèle et l'optimisation de la vitesse d'inférence.
Selon Vessel AI, l'adoption de ce point de terminaison permet un gain de vitesse de traitement moyen de 2 à 3 fois par rapport à la situation précédente.
L'amélioration du taux de succès du cache permet en outre jusqu'à 2 fois d'économies de coût par jeton, précise l'entreprise.
Un enjeu de coût et de débit
Ces optimisations visent à la fois la vitesse de réponse et le coût d'exploitation par jeton pour les utilisateurs du modèle Solar Pro 4.
En bref
Quel modèle d'Upstage est concerné par cette infrastructure d'inférence ?
Il s'agit du grand modèle de langage Solar Pro 4 d'Upstage.
Quels gains Vessel AI annonce-t-elle ?
Un gain de vitesse de traitement moyen de 2 à 3 fois et jusqu'à 2 fois d'économies de coût par jeton grâce à l'amélioration du taux de succès du cache.