Cafe24 met en avant son routeur LLM face à la hausse des coûts de tokens
Le service LLM Router de Cafe24 choisit automatiquement un modèle selon la difficulté de la tâche et le coût, et ne facture pas les appels échoués.
Cafe24 met en avant son service LLM Router, qui connecte plusieurs modèles d'IA via une seule API et sélectionne automatiquement un modèle selon la difficulté de la tâche et le coût, rapporte zdnet.co.kr. La fonction de routage automatique, baptisée cafe24/auto, choisit le modèle en fonction de ces deux critères.
Le service fonctionne selon un modèle de facturation à l'usage, sans frais mensuels fixes ni contrat. Les appels qui échouent ne sont pas facturés, selon la même source. Un tableau de bord en temps réel permet aux utilisateurs de suivre leur consommation et leurs coûts.
Le nombre de modèles pris en charge est passé d'environ 120 au lancement à environ 270.
D'autres plateformes d'intégration sur le marché
KT a dévoilé le 27 octobre sa plateforme d'intégration d'IA Token Factory et a ouvert le service complet aux clients entreprises le 30 octobre. Elle propose initialement 73 modèles d'IA via une seule API, avec sélection du modèle, suivi de l'usage et facturation. KT prévoit de porter ce nombre à plus de 500 ce mois-ci grâce à un lien avec la plateforme mondiale de courtage de modèles OpenRouter.
Rebellions a annoncé le 23 du mois dernier le premier contrat de fourniture de sa solution de gestion d'infrastructure d'IA Continuum Enterprise.
En bref
Qu'est-ce que la fonction cafe24/auto du LLM Router ?
Il s'agit du routage automatique qui sélectionne un modèle d'IA selon la difficulté de la tâche et le coût.
Les appels échoués sont-ils facturés ?
Non. Avec l'offre à l'usage, sans frais mensuels fixes ni contrat, les appels qui échouent ne sont pas facturés.
Combien de modèles le LLM Router prend-il en charge ?
Environ 270, contre environ 120 au lancement.