Nota livre un LLM optimisé pour l'agent de codage IA de Dube
Nota a achevé la livraison d'un LLM et de serveurs optimisés destinés à un agent de codage IA en local pour le secteur financier.
Nota a signé un contrat avec Dube et achevé la livraison d'un grand modèle de langage (LLM) et de serveurs optimisés, destinés à un agent de codage IA déployé en local pour le secteur financier, selon datanet.co.kr.
Dans le cadre de cet accord, Nota fournit l'allègement du modèle, l'optimisation de l'environnement d'inférence et de service, ainsi que la configuration des serveurs pour l'agent de codage IA de Dube.
Nota indique que le nombre de requêtes par minute a augmenté de 58 % à 95 % sur la même configuration GPU par rapport à la situation antérieure à l'optimisation, et que la latence du premier token a été réduite de plus de moitié.
Pour obtenir ces résultats, l'entreprise a eu recours à la quantification afin de réduire les besoins en mémoire du LLM, et a optimisé à la fois le processus d'inférence et l'environnement de service.
Dube est une société de développement SI du secteur financier qui fournit des agents de codage IA aux institutions financières.
En bref
Quel est l'objet du contrat entre Nota et Dube ?
Nota fournit un LLM et des serveurs optimisés pour l'agent de codage IA en local de Dube, destiné au secteur financier, ainsi que l'allègement du modèle, l'optimisation de l'inférence et du service, et la configuration des serveurs.
Quels gains de performance l'optimisation a-t-elle apportés ?
Selon Nota, le nombre de requêtes par minute a progressé d'environ 58 % à 95 % sur la même configuration GPU, et la latence du premier token a été réduite de plus de moitié.