AIモデル8種、指定なしでも日本と米国を過剰選択 バスク大など研究

バスク大学とカーディフ大学の研究者らが、8つの主要な大規模言語モデル（LLM）を24言語・計3万1680問の文化問題で検証した研究を発表した。国や地域を指定しない質問に対して、モデルが特定の国を過剰に挙げる傾向があることが分かった。オンラインメディアのGIGAZINEが報じた。

研究チームは食文化や芸術、歴史、社会生活など11分野にわたる1320問を作成し、24言語に展開して計3万1680問のテストを実施。質問には国名を指定せず、モデル自身が言及する国を選ぶ形式だった。対象となったのはGPT-4o mini、Gemini 2.5 Flash、Claude 3.5 Haiku、Llama 4 Maverick、Command R、Mistral Small、DeepSeek V3.2 Exp、Qwen3 Nextの8モデル。

質問の言語が公用語となっている国を回答が挙げた割合は、モデルによって43%から78%だった。これらの国を除外しても日本と米国への偏りは残り、8モデル中5つが日本を最も多く言及し、2つが米国を最多とした。1モデルは両国を同等に挙げた。日本は食文化や芸術、教育、社会生活で頻出し、米国は地理や経済、政治、歴史で最も言及された。

回答に現れる国の分布は質問の言語によっても変化した。英語のようなデータが豊富な言語では多様な国が現れた一方、低リソース言語では集中や回答なしのケースが見られた。英語を基準にすると、ユーザーの指示に従うよう追加学習したモデルは、事前学習のみのベースモデルより日本と米国への偏りが強まった。OLMoでは、質問と回答の例を用いる教師ありファインチューニング段階で偏りが増大した。

研究チームは、日本が特に選ばれる理由までは特定できていないとしている。OLMoの追加学習データで頻出した国が回答でも頻出するとは限らず、中国は学習データで最多だったモデルでも回答にはほとんど現れなかった。一方、日本はデータで頻出しないにもかかわらず回答で目立った。研究者らは、この結果が日本への選好や文化的知識の正確性を意味するものではないと強調している。研究の限界として、段階的な比較が英語に限定されている点や、文化を国単位で扱っている点が挙げられている。