개발자들, '클로드 오퍼스 5.5' 추론 능력 저하 의혹 제기

개발자들이 앤스로픽의 AI 모델 '클로드 오퍼스 5.5'의 추론 능력이 저하됐다고 공개적으로 주장했다. 일본 매체 GIGAZINE이 보도한 내용에 따르면, 이들은 클로드 코드 사용 기록 분석을 근거로 들었고, 다른 개발자들은 그 변화가 사고 요약 방식을 바꾼 데 따른 것이라고 해석했다.

개발자 셰인 메로는 클로드 코드 사용 기록 약 1,400건을 구글의 '제미나이4 아르곤'으로 분석했다. 그는 지난달 9일부터 이달 7일까지의 기록에서 이달 3일 전후로 모델의 사고 요약 문장과 작업 방식에 뚜렷한 변화가 나타났다고 밝혔다. 'I'm'으로 시작하는 사고 요약의 비중은 20~30%에서 61.3%로 늘었고, 'I should', 'I need to' 같은 표현은 약 50%에서 10.9%로 줄었다.

이달 3일 전후의 상호작용 약 29,400건을 비교한 결과, 첫 작업 전에 표시되는 사고 토큰의 중간값은 84개에서 54개로 약 36% 감소했다. 코드 실행 및 수정 오류 지표는 47% 올랐다. 같은 오디오 재생 오류를 수정하는 코딩 테스트에서는 추론 설정을 가장 높은 단계로 둔 모델이 160번의 상호작용 끝에 실패했고, 최고 단계 설정에서는 5번 만에 문제를 해결했다.

앤스로픽은 공식 문서에서 사용자에게 표시되는 사고 텍스트가 별도 모델이 생성한 요약이며 AI의 실제 내부 추론 과정은 아니라고 밝히고 있다.

개발자 테오 브라운은 응답 약 45만8000건을 분석해 사고 요약의 문체가 바뀐 것은 확인했지만, 그 시점이 계정마다 달랐다고 전했다. 그는 응답당 평균 사고 토큰이 369개에서 413개로 늘었다고 밝히면서, 자신의 환경에서는 성능 저하 징후를 찾지 못했고 앤스로픽이 계정별로 사고 요약 방식을 바꾸고 있을 가능성을 제기했다. 메로도 자신의 조사가 엄격한 성능 평가는 아니었다고 인정했다. 앤스로픽이 실제로 모델 성능을 낮췄는지는 확인되지 않았으며 추가 검증이 필요하다.