코그니션 새 벤치마크 '프론티어코드 2.0', 클로드 오퍼스 5.5 1위

코그니션이 지난달 27일 공식 블로그를 통해 새로운 코딩 성능 벤치마크 '프론티어코드 2.0'을 공개하고 결과를 발표했다. 공식 리더보드에서 앤스로픽의 클로드 오퍼스 5.5가 45.5%로 1위를 차지했다. 이 소식은 aitimes.com이 보도했다.

2위는 42.8%를 기록한 GPT-6 아스트라가 차지했다. 이어 클로드 소네트 5.5가 41.0%, 제미나이 4 카본이 40.0%, GPT-6.1 솔이 39.0%로 뒤를 이었다. 프론티어코드 2.0은 실제 오픈소스 프로젝트에서 가져온 132개의 과제로 구성되며, 보안 취약점 수정과 성능 최적화 작업이 포함된다.

기본 구현보다 꼼꼼함에서 더 많이 실패

벤치마크에서 모델들은 핵심 기능 구현보다 세부 사항을 빠뜨리지 않는 '꼼꼼함' 항목에서 더 자주 실패했다. 필수 꼼꼼함 항목의 실패율은 19.2%로, 핵심 기능 구현 실패율 14.9%보다 높았다. 추론 수준을 최대로 높여도 꼼꼼함 항목 실패율은 15.3%에 달했다.

특정 과제에서는 뚜렷한 편차도 나타났다. 클로드 오퍼스 5.5는 Mock Service Worker 버그 수정 과제에서 추론 설정 5단계를 각각 5회씩, 총 25회 시도했지만 모두 실패했다. GPT-6 아스트라는 PostHog 과제에서 낮은 추론 수준에서는 5회 모두 성공했으나 최대 추론 수준에서는 5회 중 1회만 성공했는데, 공개 프로그램 인터페이스를 제거해 호환성을 깨뜨린 것이 원인으로 제시됐다.

앞서 코그니션은 지난해 10월 프론티어코드 1.1을 공개한 바 있다. 당시 클로드 오퍼스 5.5는 54.6%, GPT-6 아스트라는 53.3%를 기록했다.