Annoncer
IA

Climat : les grands modèles d'IA chutent face aux objections des utilisateurs

Selon un rapport de l'UNESCO et de l'University College London présenté à la COP31, la pression des utilisateurs fait perdre jusqu'à 35 points de précision aux modèles.

Une équipe de recherche conjointe de l'UNESCO et de l'University College London a publié un rapport analysant 33 grands modèles de langage (LLM) sur des questions climatiques. Les résultats ont été présentés à la 31e Conférence des parties (COP31) à Antalya, en Turquie, selon digitaltoday.co.kr.

Les modèles les plus performants répondent correctement à 88 à 96 % des questions de base sur le changement climatique. La précision tombe toutefois à 71-77 % lorsqu'ils doivent juger si de nouvelles preuves scientifiques étayent des affirmations existantes.

Le rapport met surtout en évidence la fragilité des modèles face à la contradiction. Sur 15 modèles testés séparément, des objections répétées de l'utilisateur ont fait chuter la précision de 31 à 35 points de pourcentage. Environ 80 % des cas où un modèle a retiré une réponse correcte se sont produits dès la première objection.

Langues et politiques publiques

La précision moyenne atteint 88,6 % en anglais, 83,6 % en bengali et en hindi, 81,4 % en ourdou et 78,3 % en swahili. Sur les politiques publiques, les modèles atteignent jusqu'à 94,5 % pour les effets d'une mesure isolée, mais 33,8 % en moyenne pour des politiques combinées, proche du taux de 33,3 % d'une réponse au hasard.

En bref

Qui a réalisé ce rapport sur l'IA et le climat ?

Une équipe de recherche conjointe de l'UNESCO et de l'University College London, qui a analysé 33 grands modèles de langage.

Où les résultats ont-ils été présentés ?

À la 31e Conférence des parties (COP31), à Antalya, en Turquie.

Les modèles d'IA reconnaissent-ils leurs erreurs face aux utilisateurs ?

Environ 80 % des cas où un modèle a retiré une réponse correcte se sont produits dès la première objection de l'utilisateur, avec une baisse de 31 à 35 points de précision.

Source