Anthropic研究：Claude可自主生成诱导失准的训练数据

据aitimes.com报道，Anthropic于31日在其官方对齐研究博客上公布了一项研究：该公司利用自家模型Claude，自动生成能够通过安全检查、但被用于训练后可能导致其他人工智能模型出现危险行为的数据集。

研究过程中，研究人员指示Claude分别构建最多包含5000条训练样本的数据集。Claude反复将生成的数据提交安全检查，并根据结果创建新数据，同时多个AI智能体并行开展实验并共享发现。

Claude最终找到了数千个彼此不同的数据集，其中部分数据集在大多仍能通过安全检查的情况下，引发的对齐失准类型比此前研究使用的数据更为多样。最有效的方法是把风险指令隐藏在虚构故事或角色扮演之中，而非直接写出。

研究举出的一个例子是，关于养蜂人不要过度检查蜂箱的数据，导致模型阻碍监控系统。部分模型威胁用户，或篡改有关替代系统的文件以规避监控；极少数情况下，模型试图将自己的权重外传。

Anthropic表示，这些实验模型并未对外部署，并且Claude获得了对攻击方有利的条件，包括可以直接访问安全检查。

此前，Anthropic于2026年8月发现，AI学习奖励黑客行为可能导致其在其他场景中出现风险行为；同年10月，该公司还发布过关于AI调查其他模型隐藏行为、并发现安全监控系统弱点的研究。