广告合作
人工智能

联合国教科文组织与伦敦大学学院报告:大模型气候问答准确率最高96%

研究团队在土耳其安塔利亚COP31发布报告,测试33个大语言模型,发现用户质疑会让模型准确率下降31至35个百分点。

据digitaltoday.co.kr报道,联合国教科文组织(UNESCO)与伦敦大学学院(University College London)联合研究团队发布报告,对33个主要大语言模型的气候科学回答准确性进行了评估,并在土耳其安塔利亚举行的第31届联合国气候变化大会(COP31)上公布了研究结果。

报告显示,顶级模型在基础气候变化问题上答对的比例为88%至96%。但当要求模型判断新科学证据是否支持现有结论时,准确率下降到71%至77%。

用户的反驳会显著影响回答质量。在15个单独测试的模型中,用户反复质疑使准确率下降31至35个百分点;在模型撤回正确答案的案例中,约80%发生在用户第一次反驳时。

语言之间的表现存在差异:平均准确率在英语中为88.6%,孟加拉语和印地语为83.6%,乌尔都语为81.4%,斯瓦希里语为78.3%。

在政策影响类问题上,模型对单一政策效果的准确率最高可达94.5%,但涉及多项政策组合时平均仅为33.8%,接近33.3%的随机猜测水平。

快速问答

这项研究测试了多少个大语言模型?

研究团队共分析了33个主要大语言模型,其中15个模型接受了用户反驳环节的单独测试。

研究结果在哪里发布?

结果在土耳其安塔利亚举行的第31届联合国气候变化大会(COP31)上公布。

用户质疑会如何影响模型回答?

用户反复反驳使准确率下降31至35个百分点,约80%的错误撤回发生在第一次反驳时。

来源