광고 문의
AI

구글 딥마인드, AI 에이전트 평가 벤치마크 'MKA' 공개

200개 과제에 83개 직무 반영, 앤스로픽 '클로드 페이블 5.2'가 57%로 1위, 구글 '제미나이 4 카본'은 54%로 2위

구글 딥마인드가 AI 분석 기업 아티피셜 애널리시스와 공동으로 AI 에이전트 평가용 신규 벤치마크 'MKA(Multimodal Knowledge Agent)'를 공개했다고 IT홈이 14일 보도했다. MKA는 에이전트가 실제 업무 환경에서 얼마나 정확하고 완성도 높은 결과물을 내는지를 측정하는 데 초점을 맞춘다.

벤치마크는 비즈니스, 건설, 엔지니어링, 금융, 의료, 과학 등 10개 분야 83개 직무에 걸친 200개 과제로 구성됐다. 각 과제는 숙련된 전문가가 3~8시간에 걸쳐 수행하는 작업을 재현한 것으로, 과제당 약 70개의 세부 평가 기준이 적용된다. 점수는 사실 정확도 75%, 시각적 완성도 25%의 가중치로 산정된다.

모든 모델에는 동일한 도구와 작업 환경이 주어졌으며 최대 250회의 시도가 허용됐다. 전문가 평가와 AI 평가 간 일치율은 96%로 나타났다.

클로드 페이블 5.2 1위, 제미나이 4 카본 2위

고난도 과제 항목에서 앤스로픽의 클로드 페이블 5.2가 가중 달성률 57%로 1위를 차지했고, 구글의 제미나이 4 카본이 54%로 뒤를 이었다. 다만 비용에서는 격차가 컸다. 클로드 페이블 5.2는 과제당 평균 31.97달러가 든 반면, 제미나이 4 카본은 평균 6.29달러로 약 5분의 1 수준이었다.

과제 완료에 필요한 평균 행동 수는 모델별로 30~130회 범위였다.

한눈에 보기

MKA 벤치마크란 무엇인가?

구글 딥마인드가 아티피셜 애널리시스와 공동 개발한 AI 에이전트 평가용 벤치마크로, 10개 분야 83개 직무에 걸친 200개 과제로 구성된다.

MKA 벤치마크에서 1위를 한 모델은?

앤스로픽의 클로드 페이블 5.2가 고난도 과제에서 가중 달성률 57%로 1위를 기록했다. 구글 제미나이 4 카본은 54%로 2위였다.

출처