연구진 "AI 8종, 국가 지정 없는 문화 질문에 일본·미국 편중"

스페인 바스크대와 영국 카디프대 연구진이 주요 대규모언어모델(LLM) 8종이 국가를 특정하지 않은 문화 관련 질문에서 일본과 미국을 과도하게 언급한다는 연구 결과를 내놨다. 기가진이 2026년 10월 22일 이같은 내용을 보도했다.

연구진은 음식, 예술, 역사, 사회생활 등 11개 분야에 걸쳐 1320개의 질문을 만들고 이를 24개 언어로 확장해 총 3만 1680개의 시험 질문을 구성했다. 질문에는 국가나 지역을 지정하는 내용이 없어, 어떤 나라를 언급할지는 모델이 스스로 정했다.

시험 대상은 GPT-4o 미니, 제미나이2.5 플래시, 클로드3.5 하이쿠, 라마 4 매버릭, 커맨드 R, 매지스트랄 스몰, 딥시크 V3.2 익스프, 큐웬3 넥스트 등 8종이다. 질문 언어가 공용어인 국가를 답변에서 언급한 비율은 모델별로 43%에서 78% 사이였다.

이들 국가를 제외하고도 일본과 미국 쏠림은 남았다. 8개 모델 가운데 5개는 일본을 가장 많이 언급했고, 2개는 미국을 가장 많이 언급했으며, 1개는 두 나라를 같은 비중으로 언급했다. 일본은 음식, 예술, 교육, 사회생활 분야에서 자주 등장했고, 미국은 지리, 경제, 정치, 역사 분야에서 가장 많이 언급됐다.

답변의 국가 분포는 질문 언어에 따라서도 달라졌다. 영어처럼 데이터가 풍부한 언어에서는 다양한 국가가 등장했지만, 자원이 적은 언어에서는 특정 국가로 몰리거나 아예 답이 나오지 않았다. 영어를 기준으로 비교했을 때 사용자 지시를 따르도록 추가 학습을 거친 모델은 사전학습만 마친 기본 모델보다 일본과 미국 쏠림이 더 강했다. OLMo 모델에서는 질의응답 예시로 학습하는 지도 미세조정 단계에서 편향이 커졌다.

연구진은 일본이 특히 자주 선택되는 이유를 규명하지는 못했다고 밝혔다. OLMo의 추가 학습 데이터에서 자주 나온 국가가 답변에서도 자주 나오는 것은 아니었다. 중국은 학습 데이터에서 가장 많이 등장한 모델에서조차 답변에는 거의 나오지 않았고, 일본은 데이터에 자주 나오지 않는데도 답변에서 두드러졌다. 연구진은 이 결과가 일본에 대한 선호나 문화 지식의 정확성을 뜻하는 것은 아니라고 강조했다. 연구의 한계로는 단계별 비교가 영어에만 적용된 점과 문화를 국가 단위로 다룬 점이 꼽혔다.