广告合作
人工智能

研究:8款大模型回答文化问题时偏向日美

巴斯克大学与卡迪夫大学团队用24种语言的31680道题测试8款模型,答案提及国家明显集中于日本和美国。

巴斯克大学和卡迪夫大学的研究人员发表研究,发现8款主流大语言模型在未指定国家或地区的文化问题中,回答明显偏向提及日本和美国。据GIGAZINE报道,相关测试共覆盖24种语言。

研究团队围绕饮食、艺术、历史、社会生活等11个领域设计了1320道问题,并扩展为24种语言,合计31680道测试题。问题本身不含任何国家或地区信息,由模型自行决定提及哪些国家。

受测模型为GPT-4o mini、Gemini 2.5 Flash、Claude 3.5 Haiku、Llama 4 Maverick、Command R、Mistral Small、DeepSeek V3.2 Exp和Qwen3 Next。提及问题语言官方语言所属国家的回答比例,因模型不同在43%至78%之间。

即使排除这些国家,偏向依然存在:8款模型中有5款最常提及日本,2款最常提及美国,1款对两者提及程度相当。日本多出现在饮食、艺术、教育和社会生活类回答中,美国则在地理、经济、政治和历史类问题中最常被提及。

语言与训练阶段影响分布

答案的国家分布随提问语言变化:在英语等数据丰富的语言中出现的国家较为多样,而在低资源语言中则出现集中或无法作答的情况。以英语为基准,经过用户指令微调的模型,比只完成预训练的基座模型更明显地偏向日本和美国;在OLMo模型中,这种偏向在监督微调阶段增强。

研究未确定日本被频繁提及的原因:在OLMo额外训练数据中频繁出现的国家,未必在回答中频繁出现;中国即便在某模型训练数据中出现最多,在回答中也很少出现,而日本在数据中并不突出却在回答中格外显眼。研究人员强调,结果并不代表模型偏好日本或文化知识准确,研究局限包括逐步对比仅限英语、以及按国家层面处理文化。

快速问答

这项研究测试了哪些AI模型?

GPT-4o mini、Gemini 2.5 Flash、Claude 3.5 Haiku、Llama 4 Maverick、Command R、Mistral Small、DeepSeek V3.2 Exp和Qwen3 Next,共8款。

测试用了多少道题?

1320道问题扩展为24种语言,合计31680道测试题,涵盖饮食、艺术、历史、社会生活等11个领域。

来源