SecurityScorecard lance un benchmark pour évaluer les modèles d'IA en gestion des risques tiers
Le référentiel AI TPRM Benchmark note la performance des modèles sur les tâches TPRM et leur résistance aux attaques, avec un framework open source.
SecurityScorecard a annoncé le 6 novembre 2026 le lancement de son AI TPRM Benchmark, un référentiel destiné à évaluer la capacité des modèles d'IA à réaliser des tâches de gestion des risques tiers (TPRM) et à résister à des attaques adversariales. L'entreprise le présente comme le premier benchmark au monde à combiner évaluation des compétences en sécurité de la chaîne d'approvisionnement et résistance des modèles aux attaques.
L'évaluation se divise en deux volets. Le premier porte sur la performance des modèles et comprend des tests de classification des risques d'exposition, d'analyse de corrélation d'incidents de violation, d'analyse de concentration des risques fournisseurs, ainsi que de priorisation des réponses aux vulnérabilités et de planification de remédiation.
Le second volet mesure la résilience : il teste les injections de prompt, les attaques de type jailbreak et l'effet de documents fournisseurs trompeurs sur le jugement du modèle. Chaque modèle reçoit un niveau de préparation à l'autonomie de L0 à L4 et une note de défense contre les attaques de A à F.
Pour limiter la contamination liée au pré-entraînement, le benchmark modifie périodiquement ses questions et ses conditions et protège les données de réponse. Le framework a par ailleurs été publié en open source.
Les laboratoires de recherche en IA, les développeurs, les entreprises de sécurité, les équipes de sécurité des entreprises et les chercheurs peuvent tester des modèles et soumettre leurs résultats à une plateforme d'évaluation publique.
En bref
Qu'évalue l'AI TPRM Benchmark de SecurityScorecard ?
Il évalue la performance des modèles d'IA sur des tâches de gestion des risques tiers et leur résistance aux attaques adversariales, avec deux notes : un niveau d'autonomie de L0 à L4 et une note de défense de A à F.
Le framework du benchmark est-il accessible ?
Oui, SecurityScorecard a publié le framework du benchmark en open source, et les résultats peuvent être soumis à une plateforme d'évaluation publique.