제미나이 4 카본, AA 인텔리전스 인덱스 v5 1위

아티피셜 애널리시스(AA)가 10월 27일(현지시간) 인텔리전스 인덱스 v5를 공개한 데 이어, 다음 날인 10월 28일 제미나이 4 카본의 결과를 추가하면서 구글 모델을 1위에 올렸다. 제미나이 4 카본은 59점으로 클로드 오퍼스 5.5(58점)를 1점 차로 앞섰다.

AA는 10월 27일 처음에는 클로드 오퍼스 5.5를 1위로 제시했으나, 10월 28일 제미나이 4 카본의 점수를 공개하며 구글 모델이 정상에 올랐다고 밝혔다. 3위는 GPT-6 아스트라(57점), 4위는 GPT-6.1 솔(55점), 5위는 클로드 소네트 5.5(54점)다.

제미나이 4 카본은 9개 평가 가운데 4개에서 최고점을 기록했다. 어려운 지식과 추론, 과학 연구, 지식 정확성, 작업 자동화 부문이다. GPT-6 아스트라는 새로 도입된 터미널-벤치-사이언스에서 63%, 크리트PT v2에서 72%를 기록했다.

가중치와 새 벤치마크

v5 지수는 지식 노동, 코딩, 과학, 일반 지식에 각각 25%씩 동일한 가중치를 부여한다. 프론티어코드 2.0과 터미널-벤치-사이언스가 새로 추가됐고 기존 평가 3개도 개선됐다. 전체 평가에서 비공개 데이터 비중은 45%에서 60%로 높아졌으며, 평가 과제당 중간 출력 토큰 수는 3만5000개에서 약 5만9000개로 늘었다.

오픈웨이트 모델 가운데서는 키미 K3.1 프로가 46점으로 가장 높았지만, 제미나이 4 카본과는 13점 차이다. AA는 2022년 11월 이후 AI 모델 성능을 하나의 척도로 비교하는 프로그레스 인덱스도 함께 선보였다.