Anthropic修订S-1/A文件 新增递归自我改进风险警示
修订版文件称,内部估算显示公司可能即将达到其负责任扩展政策中"AI推动的急剧加速进展"的定义标准。
据gizmodo.com报道,Anthropic于周一发布了修订版S-1/A文件,在"风险因素"部分新增了一项警示,涉及递归自我改进。文件称,根据对内部估算以及对未来模型的预期,Anthropic可能即将达到其负责任扩展政策中"可归因于AI的急剧加速进展"的定义标准。
文件同时说明,此前的10月26日版本已包含关于AI驱动加速速度的章节,但未含有上述新表述。
根据文件内容,Anthropic的负责任扩展政策承诺探索雄心勃勃、可能非常规的方式,以实现前所未有的安全水平。该政策还描述了一种名为"全程盯防"(eyes on everything)的监管状态,并表示届时Anthropic将不再需要依赖漏洞赏金计划。
术语与背景
递归自我改进这一概念由更早的"种子AI"(seed AI)一词演变而来,后者由AI研究者Eliezer Yudkowsky提出。
快速问答
Anthropic修订版S-1/A文件新增了什么内容?
在"风险因素"部分新增了一项关于递归自我改进的警示,称公司可能即将达到其负责任扩展政策中"可归因于AI的急剧加速进展"的定义标准。
什么是"全程盯防"?
这是Anthropic负责任扩展政策中描述的一种监管状态,文件称届时公司将不再需要依赖漏洞赏金计划。