Microsoft optimise MAI-Code-1.1-Flash pour l'exécution locale
Le modèle de codage quantifié à 3 bits passe à 53 Go et gagne en performance sur Terminal-Bench 2.1, selon aitimes.com.
Microsoft a dévoilé une version optimisée pour l'exécution locale de son modèle d'IA de codage MAI-Code-1.1-Flash, en parallèle du lancement de PC de nouvelle génération, dont le Surface Laptop Ultra équipé d'une puce NVIDIA RTX Spark. L'information a été rapportée par aitimes.com.
Cette version locale repose sur la quantification et le décodage spéculatif pour compresser les poids à environ 3 bits en moyenne. La taille du modèle passe ainsi à 53 Go, soit une réduction d'environ 80 % par rapport à la version cloud originale en BF16.
Sur le test SWE-bench Verified, la version locale obtient 70,8 %, contre 72,6 % pour le modèle cloud original. En revanche, sur Terminal-Bench 2.1, la version locale atteint 66,3 %, un score supérieur aux 62,9 % du modèle cloud.
Microsoft a également conçu le Microsoft Execution Container (MXC), un bac à sable local intégré à Windows, afin de permettre aux agents d'IA locaux de fonctionner en toute sécurité. GitHub Copilot peut déléguer des tâches au modèle local pour réduire les coûts de calcul. La fonctionnalité Code in Copilot permet aux utilisateurs de développer des logiciels personnalisés sur ordinateur de bureau sans consommer de jetons cloud externes ni se heurter aux restrictions des boutiques d'applications.
Satya Nadella a déclaré sur X que Windows ouvrait un nouveau chapitre en permettant aux agents d'agir en toute sécurité pour le compte des utilisateurs sur n'importe quel PC.
Contexte
En août, Microsoft avait déjà présenté le modèle MAI-Code-1.1-Flash.
En bref
Quelle est la taille du modèle MAI-Code-1.1-Flash optimisé pour le local ?
Le modèle compressé à environ 3 bits en moyenne occupe 53 Go, soit une réduction d'environ 80 % par rapport à la version cloud originale en BF16.
Quels sont les scores du modèle local sur les benchmarks ?
La version locale obtient 70,8 % sur SWE-bench Verified et 66,3 % sur Terminal-Bench 2.1.
Qu'est-ce que le Microsoft Execution Container ?
C'est un bac à sable local intégré à Windows qui permet aux agents d'IA locaux de s'exécuter en toute sécurité.