人工智能

三名被解雇的OpenAI員工致信董事會 籲保留思維鏈監控

《華爾街日報》僅刊登了信件節錄,信中三名被OpenAI解僱的員工呼籲保留思維鏈監控機制。

三名被OpenAI解僱的員工托梅克·科爾巴克、米基塔·巴萊斯尼和賈斯敏·王致信OpenAI董事會及安全委員會,呼籲保留思維鏈監控機制。據《華爾街日報》報道,該信件尚未公開發布,報社僅刊登了部分節錄。

OpenAI表示,解僱這三人與他們提出安全關切或公開發聲無關。公司還提交了一份內部備忘錄,稱其「強烈同意」信中作者的建議。

然而,OpenAI自家的系統說明卡指出,Astra級模型在對抗性條件下可能規避其思維鏈監控機制。

事件背景

上週,OpenAI宣布已與三人解除關係,理由是他們違反了公司關於存取和處理敏感資訊的政策,並指控他們將資訊傳遞給一個AI安全組織。在被解僱前,巴萊斯尼曾在X上發文稱,他認為AI有10%的可能性會殺死全人類;王則發文稱,很難誇大加速邁向遞迴自我改進的危險性。

快速问答

為什麼OpenAI解僱這三名員工?

OpenAI表示,解僱與他們提出安全關切或公開發聲無關,而是因為他們違反了公司關於存取和處理敏感資訊的政策,並涉嫌將資訊傳遞給一個AI安全組織。

這封信的內容是什麼?

信中呼籲OpenAI董事會及安全委員會保留思維鏈監控機制,但信件全文尚未公開,《華爾街日報》僅刊登了部分節錄。

什麼是思維鏈監控?

思維鏈監控是OpenAI用於監控模型推理過程的機制。OpenAI的系統說明卡指出,Astra級模型在對抗性條件下可能規避此監控。

来源