엔비디아 "AI 벤치마크, 속도만으로 부족…정확도 함께 봐야"

엔비디아가 AI 성능 평가에서 속도와 정확도를 함께 측정해야 한다는 입장을 내놨다. 엔비디아의 제프 옌 APAC 테크니컬 마케팅 디렉터는 11월 6일 열린 RTX 스파크 제품 브리핑에서 자사의 권장 AI 벤치마크 방식을 소개했다고 디지털투데이가 보도했다.

옌 디렉터는 전통적인 벤치마크가 늘 속도를 중심으로 이뤄졌지만, AI는 속도와 정확도를 함께 판단해야 한다고 설명했다. 그는 또 이미지 생성과 영상 생성, 에이전틱 벤치마크에서는 사람이 직접 결과를 검토하는 것이 큰 차이를 만든다고 덧붙였다.

그는 실제 응용 프로그램과 유사한 벤치마크로 MLPerf Client와 AgentPerf-local을 꼽았다. 보도에 따르면 MLPerf Client 2.0의 에이전틱 벤치마크는 4개의 프롬프트와 모의 도구 호출로 구성된 짧은 테스트이며, 아티피셜애널리시스의 AgentPerf-local은 기본 실행에 160개 이상의 프롬프트를 사용하고 실제 도구를 호출해 시스템 전체를 평가한다.

옌 디렉터는 에이전트 성능을 좌우하는 요인으로 메모리 용량과 입출력 콘텐츠를 언급했다. 엔비디아는 첫 SoC 플랫폼인 RTX 스파크에 대해 메모리 용량과 입출력 콘텐츠를 구분한 평가 기준을 마련했다. 그는 비슷한 이름의 모델도 양자화 방식에 따라 출력 품질이 달라지고 백엔드가 정확도에 영향을 준다며, 엔비디아도 같은 실수를 한다고 인정했다.

업계에서는 다른 업체들도 AI 벤치마크 기준 마련에 나서고 있다. 트래버스리서치에 따르면 퀄컴은 자사의 GPU 및 AI 벤치마크인 에볼브를 내부에서 운영하고 있다. Arm은 후지쯔, 메타, 오픈AI의 지원을 받아 에이전틱 AI용 CPU 성능 평가 방법론을 공개한 바 있다.