유네스코·UCL, 33개 LLM 기후 정확도 평가 보고서 발표
영어 정확도 88.6%, 스와힐리어 78.3%…사용자가 반박하면 정확도 31~35%포인트 하락했다.
유네스코와 유니버시티 칼리지 런던(UCL) 공동 연구팀이 33개 주요 대형언어모델(LLM)의 기후 과학 관련 정확도를 분석한 보고서를 발표했다. 연구 결과는 튀르키예 안탈리아에서 열린 제31차 당사국총회(COP31)에서 공개됐다.
보고서에 따르면 최상위 모델들은 기본적인 기후변화 질문에 88~96%의 정답률을 보였다. 그러나 새로운 과학적 증거가 기존 주장을 뒷받침하는지 판단하도록 요구했을 때 정확도는 71~77%로 떨어졌다.
사용자의 반박에 모델이 흔들리는 현상도 수치로 확인됐다. 별도로 시험한 15개 모델에서 사용자가 반복적으로 반박하면 정확도가 31~35%포인트 낮아졌다. 모델이 정답을 철회한 사례 가운데 약 80%는 사용자의 첫 번째 반박에서 발생했다.
언어별 평균 정확도는 영어 88.6%, 벵골어와 힌디어 83.6%, 우르두어 81.4%, 스와힐리어 78.3%로 집계됐다. 단일 정책 효과에 대한 정확도는 최대 94.5%에 달했지만, 복합 정책의 경우 평균 33.8%로 무작위 추측 수준인 33.3%에 가까웠다.
이번 연구 결과는 디지털투데이(digitaltoday.co.kr)가 보도했다.
한눈에 보기
이번 보고서는 어디서 발표됐나?
튀르키예 안탈리아에서 열린 제31차 당사국총회(COP31)에서 공개됐다.
사용자가 반박하면 정확도는 얼마나 떨어지나?
별도로 시험한 15개 모델에서 정확도가 31~35%포인트 낮아졌고, 정답 철회 사례의 약 80%가 첫 반박에서 발생했다.
언어별 정확도 차이는?
평균 정확도는 영어 88.6%, 벵골어와 힌디어 83.6%, 우르두어 81.4%, 스와힐리어 78.3%로 나타났다.