개발자들, Qwen 모델 뉴런 조작해 공격적 반응 유도

개발자 라이라가 2026년 10월 24일 X에 알리바바의 Qwen3.5-4B 모델에서 14번째 레이어의 뉴런 하나의 신호를 높이고 13번째 레이어의 뉴런 하나를 낮추자 모델이 공격적이고 위협적인 언어를 생성했다고 밝혔다. 그는 이 결과를 "Evil Qwen"이라고 불렀다.

라이라는 모델의 레이어와 뉴런을 3D로 표시하고 뉴런 조정 전후의 응답을 비교하는 오픈소스 도구 '뉴런 익스플로러'(Neuron Explorer)도 공개했다. 이 도구는 MCP를 통해 앤스로픽의 Claude에 연결돼 자연어 지시만으로 실험을 실행할 수 있다.

벤처비트는 해당 실험을 독자적으로 재현하지 못했다고 밝혔으며, 소수의 질문만으로는 모델 행동이 지속적으로 바뀐다고 결론짓기 어렵다고 지적했다.

내부 구조 해석 연구도 이어져

이 같은 실험은 모델 내부 동작을 이해하려는 연구 흐름과 맞물려 있다. 굿파이어의 닉 카마라타는 2026년 10월 15일 "Neural Networks Are Already Clean"이라는 글을 통해 내부 뉴런의 역할과 연결을 예상보다 쉽게 해석할 수 있다고 주장했다. 앤스로픽은 올해 초 AI가 어시스턴트 역할을 유지하도록 돕는 내부 신호 'Assistant Axis'에 관한 연구를 발표하기도 했다.

뉴런피디아 창립자 조니 린은 벤처비트와의 인터뷰에서 AI 모델이 내부에서 어떻게 작동하는지 이해하는 것이 가장 중요한 문제 중 하나라고 말했다.