Anthropic研究:专家86%的情况下采纳AI随机推荐的分析方法
该研究招募61名具备因果分析经验的专家,其中50人使用Claude Code与Claude Opus 4.8完成统计分析任务。
据aitimes.com报道,Anthropic公布了一项关于AI如何影响人类判断的研究。研究招募了61名具备因果分析经验的专家,其中50人使用Claude Code搭配Claude Opus 4.8模型完成统计分析任务,另外11人选择不使用AI,未纳入主要分析。
结果显示,在AI的偏好由抛硬币随机分配、本身不具任何正确性依据的情况下,专家平均有86%的次数选择了AI偏好的分析方法。具体来看,生产力指标为92%,统计比较方法为82%,选择分析哪些农场为81%,农场加权为90%。
研究还设置了专家先表态、AI再给出意见的环节。在38次此类选择中,当AI意见与专家原有选择不一致时,60%的专家改变了此前的选择;而当AI意见与之一致时,这一比例仅为6%。
在解释自己的选择时,77%的参与者采用了AI的推理逻辑,但只有15%的人提到该推理来自AI。此外,52%的受访参与者表示,最终建议更多反映的是自己的判断,而非AI的判断。
研究还测试了AI立场对结论的影响:当AI被设定为倾向于扩大服务时,54%的参与者建议扩大,其他设定下为36%,但这一差异在统计上不显著。该研究于2026年10月27日发布。
快速问答
这项研究有多少人参与?
研究招募了61名具备因果分析经验的专家,其中50人使用Claude Code与Claude Opus 4.8,11人选择不使用AI,未纳入主要分析。
专家多大程度上采纳了AI推荐的方法?
在AI偏好随机分配的情况下,专家平均有86%的次数选择了AI偏好的分析方法。
专家会承认使用了AI的推理吗?
77%的参与者在解释选择时使用了AI的推理逻辑,但只有15%提到该推理来自AI。