人工智能

信息报:OpenAI 正为新模型做对齐与安全加固

据信息报10月13日报道,OpenAI 正开展对齐与安全加固工作,以安全发布一款据称采用 Loop Transformer 架构的下一代模型。

据信息报10月13日报道,OpenAI 正在开展对齐与安全加固工作,目标是在确保安全的前提下发布一款尚未公开的下一代人工智能模型。报道称,该模型采用名为 Loop Transformer(又称循环深度,Recurrent Depth)的设计,重复使用同一批神经网络层。OpenAI 尚未正式确认是否采用这一技术。

报道指出,Loop Transformer 的设计可能使内部计算过程难以体现在人类可读的思维链中,从而削弱现有的异常行为监测手段。此外,有报道称微软上周在一篇博客文章中描述 GPT-6.1 Sol 与 GPT-6 Sol 使用相同的基础模型权重,区别在于前者将推理过程执行两次而非三次,随后删除了该描述;OpenAI 此前也曾在 Astra 中限制循环结构的使用,以保留人类可读的推理记录。

在安全流程方面,OpenAI 正在加强沙箱机制,将未公开模型与互联网及其他软件隔离;同时调整了模型训练的启动程序,要求相关责任人记录训练风险与安全理由,并由多名责任人签字确认。每位责任人均可独立叫停训练,用于在事故发生时自动暂停训练或通知员工的系统也已就位或正在规划中。据一名员工透露,若该下一代模型通过内部安全评估,可能会先提供给美国政府进行最长30天的测试,随后分享给可信合作伙伴,之后再广泛分发。员工还表示,年底前很可能发布一到两款新模型,但它们未必是重大升级版本。

公开信息与传闻

谷歌工程师 Patrick Toomey 近日在 X 上表示,纽约一场人工智能行业聚会上的开发者预计,Anthropic 的 Fable 5.5 将表现出色,但 OpenAI 将于12月推出的 Bel 会超越它。Bel 这一代号自8月起为人所知,当时 X 上的帖子称 OpenAI 已完成 Bel 的预训练,参数量超过10万亿,将作为未来 AGI 级模型的基础,部分媒体也对此进行了报道。OpenAI 首席执行官 Altman 大约在同一时间接受《时代》采访时表示,公司将在年底前构建出一个内部可称为 AGI 的系统。Bel 的具体规格与发布时间尚未得到官方确认,信息报所报道的下一代模型是否就是 Bel 也尚未证实。

上月下旬 Hugging Face 遭攻击事件后,OpenAI 将约10%的总计算资源分配给了对齐与安全工作,相当于数百兆瓦的数据中心容量。

快速问答

OpenAI 的下一代模型采用什么架构?

据信息报10月13日报道,该模型据称采用 Loop Transformer(又称循环深度)设计,重复使用同一批神经网络层,但 OpenAI 尚未正式确认。

Bel 是什么?什么时候发布?

Bel 是 OpenAI 的一个模型代号,自8月起为人所知。谷歌工程师 Patrick Toomey 近日在 X 上称其将于12月推出,但具体规格与发布时间尚未得到官方确认。

OpenAI 在安全方面做了哪些调整?

OpenAI 正在加强隔离未公开模型的沙箱,并调整训练启动程序,要求多名责任人记录风险与安全理由并签字,每人可独立叫停训练。上月下旬 Hugging Face 遭攻击事件后,公司把约10%的总计算资源用于对齐与安全工作。

来源