Google DeepMind dévoile MKA, un benchmark de tâches professionnelles pour agents IA
Le benchmark MKA, co-développé avec Artificial Analysis, note 200 tâches de 3 à 8 heures ; Claude Fable 5.2 devance Gemini 4 Carbon.
Google DeepMind a publié le 14 novembre 2026 un nouveau benchmark destiné à évaluer les agents IA sur des tâches professionnelles complexes, baptisé Multimodal Knowledge Agent (MKA). Il a été développé conjointement avec la société d'analyse Artificial Analysis, rapporte le média taïwanais ITHome.
Le benchmark comprend 200 tâches couvrant 83 métiers dans 10 domaines, dont les affaires, la construction, l'ingénierie, la finance, le médical et la science. Chaque tâche reproduit un travail qu'un professionnel qualifié effectue en 3 à 8 heures, et est notée selon environ 70 critères détaillés, pondérés à 75 % pour l'exactitude factuelle et à 25 % pour la complétude visuelle.
Tous les modèles ont disposé des mêmes outils, du même environnement de travail et d'un maximum de 250 tentatives. La concordance entre l'évaluation des experts et celle de l'IA a atteint 96 %.
Claude en tête, Gemini moins coûteux
Sur les items difficiles, Claude Fable 5.2 d'Anthropic s'est classé premier avec 57 % de réussite pondérée, devant Gemini 4 Carbon de Google à 54 %. Le modèle d'Anthropic a toutefois coûté en moyenne 31,97 USD par tâche, contre 6,29 USD pour celui de Google, soit environ un cinquième.
Le nombre moyen d'actions nécessaires pour accomplir une tâche variait de 30 à 130 selon les modèles.
En bref
Qu'est-ce que le benchmark MKA ?
Un benchmark publié par Google DeepMind avec Artificial Analysis pour évaluer les agents IA sur 200 tâches professionnelles de 3 à 8 heures.
Quel modèle arrive en tête du benchmark MKA ?
Claude Fable 5.2 d'Anthropic, avec 57 % de réussite pondérée sur les items difficiles, devant Gemini 4 Carbon à 54 %.
Combien coûte une tâche sur le benchmark MKA ?
En moyenne 31,97 USD par tâche pour Claude Fable 5.2 et 6,29 USD pour Gemini 4 Carbon.