카마라타, "신경망은 이미 정돈돼 있다" 주장…해석가능성 논쟁

전 OpenAI 연구원이자 현재 Goodfire에서 일하는 닉 카마라타가 2026년 10월 15일 '신경망은 이미 정돈돼 있다(Neural Networks Are Already Clean)'라는 제목의 에세이를 발표했다. 그는 신경망이 이미 조직화되어 있으며, 단일 뉴런이 서로 무관한 개념을 혼합한다는 기존 보고는 데이터에 대한 오해였다고 주장했다. 이 소식은 aitimes.com이 보도했다.

카마라타는 고양이 얼굴과 자동차 앞면을 감지하는 뉴런 사례를 다시 분석해, 해당 뉴런이 무관한 개념의 혼합이 아니라 공통된 뾰족한 V자 모양을 감지한다고 주장했다. 그는 Qwen3-32B 언어 모델에서 분석한 뉴런의 약 90%가 하나의 지배적 기능을 수행한다고 추정했다. 이는 예비적인 양성 및 음성 값 분석에 기반한 수치다.

실험에서는 한 AI 에이전트가 뉴런에 대한 설명을 작성하고, 다른 에이전트가 그 설명만으로 문장을 생성했다. 생성된 문장 중 일부는 대규모 데이터셋에서 발견된 예시보다 더 강한 활성화를 유발했다.

카마라타는 이 에세이를 작업 가설이라고 밝히며, 언어 모델 실험의 세부 내용을 담은 기술 논문은 별도로 발표할 예정이라고 말했다.

찬반 평가 엇갈려

X의 roon(@tszzl)은 이번 에세이를 과학사에서 중요한 순간일 수 있으며 정렬(alignment)을 정상적인 과학으로 만들 수 있다고 평가했다. 반면 해석가능성 연구자 닐 난다는 LessWrong에서 이 연구가 흥미롭지만 해석가능성의 큰 틀에서의 진전은 아니라고 밝혔다. 그는 회로도가 정보를 누락할 수 있고 약하게 활성화된 뉴런은 충분히 설명되지 않는다고 지적했다.

카마라타는 과거 Chris Olah 등과 함께 초기 해석가능성 논문인 'Zoom In'(2020)과 'Multimodal Neurons'(2021)를 공동 집필했으며, 2023년 OpenAI에서 AI를 활용해 다른 AI 뉴런을 설명하는 자동화된 해석가능성 연구를 시작했다.