広告掲載
AI

UNESCOとUCL、主要LLM33モデルの気候科学精度を評価 COP31で報告

UNESCOとUCLの研究チームが33の大規模言語モデルを気候科学で評価。基本的な質問では88~96%正解するが、複合政策では33.8%にとどまった。

UNESCOとUniversity College London(UCL)の共同研究チームが、主要な大規模言語モデル(LLM)33モデルを対象に気候科学に関する精度を評価した報告書を発表した。研究成果はトルコ・アンタルヤで開催された第31回気候変動枠組条約締約国会議(COP31)で報告された。

報告書によると、上位モデルは気候変動に関する基本的な質問に対して88~96%の正答率を示した。しかし、新たな科学的証拠が既存の主張を支持するかどうかを判断させる質問では、正答率は71~77%に低下した。

さらに、15モデルを個別にテストした結果、ユーザーが繰り返し反論すると正答率は31~35ポイント低下した。モデルが正しい回答を撤回したケースの約80%は、ユーザーによる最初の反論の時点で発生していた。

言語別の平均正答率は英語が88.6%、ベンガル語とヒンディー語が83.6%、ウルドゥー語が81.4%、スワヒリ語が78.3%だった。単一政策の効果に関する質問では最大94.5%の正答率に達したが、複合政策になると平均33.8%と、ランダム推測の33.3%に近い水準まで落ち込んだ。

よくある質問

何モデルが評価されましたか?

主要な大規模言語モデル33モデルが評価されました。

COP31はどこで開催されましたか?

トルコのアンタルヤで開催されました。

出典