广告合作
人工智能

Anthropic披露Claude自我评估机制,已用于大量对话

Anthropic称该技术自6月Claude Fable 5上线以来持续使用,额外算力成本低于总推理成本的2%。

Anthropic于2026年10月29日公开一项名为“自我评估”的安全监测技术:Claude在回答之后会回看自己的整段对话,判断是否涉及滥用。据aitimes.com报道,该技术自6月Claude Fable 5上线以来就已启用,目前覆盖全球Claude使用量的相当一部分。

Anthropic表示,自我评估平均只增加约10个token,因此额外算力成本不到总推理成本的2%。

在真实服务对话的内部评估中,Claude Fable 5标记出了现有分类器判定为有害的78%对话;对高风险对话的检出率为94%,相对于该分类器的误报率为1%。Anthropic称,该技术对未纳入训练的风险类型同样有效,例如欺诈和网络攻击。

此前的滥用处置

Anthropic表示,8月曾在单个API客户账户上发现超过10万起疑似儿童性剥削活动,并已向有关部门报告。9月,公司识别并封禁了一个利用Claude Code自动实施恋爱诈骗、针对数十人的团伙。

Anthropic当天在X平台发文称,已通过自我评估训练Claude主动标记潜在滥用行为。

快速问答

什么是自我评估技术?

Claude在回答后回看自己的整段对话,判断其中是否存在滥用风险,平均只增加约10个token。

该技术的检出率如何?

在内部评估中,Claude Fable 5标记出了现有分类器判定为有害的78%对话,高风险对话检出率为94%,误报率为1%。

来源