연구진 "코딩 에이전트 하네스, 성능 차이 작고 비용은 최대 3배"

중국 산둥대와 UC버클리 연구진이 코딩 에이전트 하네스 3종을 비교한 연구 결과를 온라인 아카이브에 공개했다고 aitimes.com이 보도했다. 비교 대상은 앤스로픽의 Claude Code, 오픈소스 OpenCode, 최소 구성의 mini-SWE-agent다.

연구진은 오프라인 SWE-bench Verified 과제 492개를 평가했으며, 이 가운데 45개를 어려운 과제로 따로 분류하고 나머지 447개와 함께 분석했다. 테스트 모델로는 오픈 웨이트 Qwen3.6-35B-A3B와 Qwen3.8-27B, API 기반 DeepSeek-V4-Flash, GLM-5.3-Flash, HY4-Preview를 썼고, Claude Code에서 실행한 Claude Opus 5를 참조 모델로 삼았다.

성능보다 비용에서 갈린 하네스

기능이 많은 하네스가 가벼운 하네스보다 일관되게 높은 점수를 내지는 못했다. 어려운 과제에서는 하네스를 바꿨을 때와 같은 하네스로 다시 실행했을 때 모두 성공과 실패가 뒤바뀌는 결과가 약 13% 발생했다. 같은 모델과 과제에서도 하네스에 따라 과제당 비용이 최대 3배까지 벌어졌고, 이 격차는 첫 API 호출 단계부터 나타났다.

OpenCode는 큰 과제에서 다른 환경보다 최대 9퍼센트포인트 낮은 점수를 기록했다. 이 격차의 약 절반은 패치를 작성하기 전에 32,000토큰 출력 한도에 도달한 데서 비롯됐으며, Claude Code에는 모델에 이어서 출력하라고 자동으로 요청하는 복구 기능이 있었다. 시스템 프롬프트와 도구 정의에 고정된 컨텍스트는 Claude Code가 10,000토큰을 넘었고 mini-SWE-agent는 약 800토큰이었다.

DeepSeek의 공식 명령줄 하네스는 다른 하네스의 성공 범위 안에 머물렀지만 비교 대상 가운데 과제당 비용이 가장 높았다. DeepSeek 모델을 쓰면 mini-SWE-agent는 호출 횟수가 늘어 다른 하네스보다 비싸졌다. 비용 효율이 모델과 워크플로 조합에 달려 있다는 뜻이다.

연구진은 충분한 과제로 반복 테스트를 하고, 복잡한 하네스를 기본값으로 채택하기보다 시스템 프롬프트와 도구 정의를 단순화할 것을 제안했다.