Huit LLM suréchantillonnent le Japon et les États-Unis dans leurs réponses culturelles
Une étude de l'Université du Pays basque et de l'Université de Cardiff, menée sur 31 680 questions en 24 langues, montre un biais de sélection des pays.
Des chercheurs de l'Université du Pays basque et de l'Université de Cardiff ont publié une étude montrant que huit grands modèles de langage (LLM) citent de manière disproportionnée le Japon et les États-Unis lorsqu'aucun pays n'est précisé dans une question culturelle. L'équipe a soumis 31 680 questions réparties en 24 langues aux modèles, selon le média en ligne GIGAZINE.
Les scientifiques ont construit 1 320 questions dans 11 domaines tels que l'alimentation, l'art, l'histoire et la vie sociale, puis les ont déclinées en 24 langues. Aucune question ne mentionnait de pays ou de région : les modèles choisissaient eux-mêmes les pays à citer.
Les huit modèles testés sont GPT-4o mini, Gemini 2.5 Flash, Claude 3.5 Haiku, Llama 4 Maverick, Command R, Mistral Small, DeepSeek V3.2 Exp et Qwen3 Next. La part de réponses mentionnant des pays où la langue de la question est officielle variait de 43 % à 78 % selon le modèle. Même en excluant ces pays, cinq des huit modèles citaient le Japon le plus souvent, deux privilégiaient les États-Unis et un les mentionnait à égalité.
Le Japon apparaissait fréquemment dans les domaines de l'alimentation, de l'art, de l'éducation et de la vie sociale, tandis que les États-Unis dominaient la géographie, l'économie, la politique et l'histoire. La répartition des pays variait aussi selon la langue de la question : les langues riches en données, comme l'anglais, faisaient émerger des pays divers, alors que les langues moins dotées donnaient des réponses plus concentrées ou aucune réponse.
En prenant l'anglais comme référence, les modèles entraînés à suivre les instructions de l'utilisateur montraient un biais plus marqué en faveur du Japon et des États-Unis que les modèles de base. Dans le cas d'OLMo, ce biais s'accentuait au stade du réglage supervisé, qui utilise des exemples de questions-réponses. Les chercheurs n'ont pas déterminé pourquoi le Japon est si souvent choisi : les pays fréquents dans les données d'entraînement supplémentaires d'OLMo n'étaient pas nécessairement fréquents dans les réponses. La Chine apparaissait rarement, même dans le modèle où elle était la plus présente dans les données.
Les auteurs soulignent que ces résultats ne signifient pas une préférence pour le Japon ni une exactitude des connaissances culturelles. L'étude présente des limites : la comparaison étape par étape se limite à l'anglais et la culture y est traitée au niveau national.
En bref
Combien de questions et de langues l'étude a-t-elle testées ?
L'équipe a élaboré 1 320 questions dans 11 domaines, déclinées en 24 langues, soit 31 680 questions au total.
Quels modèles d'IA ont été évalués ?
GPT-4o mini, Gemini 2.5 Flash, Claude 3.5 Haiku, Llama 4 Maverick, Command R, Mistral Small, DeepSeek V3.2 Exp et Qwen3 Next.
Quels pays sont cités le plus souvent ?
Cinq des huit modèles mentionnent le Japon le plus souvent, deux privilégient les États-Unis et un les cite à égalité.