广告合作
人工智能

前OpenAI研究员发文:神经网络已具备清晰结构

尼克·卡马拉塔在10月15日发布的文章中重新解读猫脸神经元,并称在Qwen3-32B中约90%的神经元只承担单一主要功能。

前OpenAI研究员、现任职于AI可解释性公司Goodfire的尼克·卡马拉塔于2026年10月15日发布一篇题为《Neural Networks Are Already Clean》的文章,认为神经网络本身已经具备有序结构,此前关于单个神经元混合了互不相关概念的说法属于对数据的误读。据aitimes.com报道,该文目前仅被视为一个工作假设。

文章重新审视了此前被解读为“猫脸”和“车头”混合的神经元案例。卡马拉塔认为,该神经元实际检测的是一种共同的尖角V形结构,而非多个无关概念的叠加。他还根据初步的正负值分析估计,在Qwen3-32B语言模型中,约90%被分析的神经元承担单一的主要功能。

实验设计上,一个AI智能体负责撰写对某个神经元的描述,另一个智能体仅依据这段描述生成句子,其中部分句子引发了比大型数据集中已有样本更强的激活。卡马拉塔表示,包含语言模型实验细节的技术论文将另行发表。

该文在社交平台X上引发讨论。用户roon(@tszzl)称这可能是科学史上的重要时刻,有望让对齐研究变成一门常规科学。

可解释性研究者尼尔·南达在LessWrong论坛上给出不同评价。他表示这项工作很有意思,但不构成可解释性研究的整体性突破,并指出电路图可能遗漏信息,激活较弱的神经元也未得到充分解释。

快速问答

尼克·卡马拉塔的文章发表在什么时候?

文章于2026年10月15日发布。

文章使用了哪个语言模型进行实验?

实验基于Qwen3-32B语言模型,包含正负值分析和AI智能体生成句子的测试。

尼尔·南达如何评价这项工作?

他在LessWrong上表示研究有趣,但并非可解释性的整体性突破,并指出电路图可能遗漏信息、弱激活神经元解释不足。

来源