마이크로소프트·UC버클리, AI 코딩 비용 30.9% 절감 플러그인 공개

마이크로소프트와 UC버클리 연구진이 AI 코딩 에이전트의 비용을 최대 30.9% 줄이면서 작업 성공률은 유지하는 오픈소스 도구 토큰이코노마이저(TokenEconomizer)를 공개했다. 연구진은 논문을 아카이브(arXiv)에 게재했으며, IT매체 aitimes.com이 이를 보도했다.

이 도구는 모델 가중치나 내부 구조를 수정하지 않고 클로드 코드, 코덱스, 깃허브 코파일럿 CLI, 파이 등 주요 코딩 에이전트에 플러그인 형태로 적용된다. 깃허브에 오픈소스로 공개됐고 별도의 GPU도 필요하지 않다.

SWE-벤치의 저장소 6곳에서 진행한 277개 과제, 에이전트-모델 조합 5가지를 평가한 결과 비용은 기존 실행 방식 대비 18.4~30.9% 감소했다. Pass@1 기준 작업 성공률은 5개 조합 가운데 4개에서 상승했고, 나머지 1개에서만 1%포인트 떨어졌다. 모든 평가 저장소에서 여섯 번째 과제부터 누적 비용이 기준선보다 낮아졌다.

연구진은 클로드 코드 실험에서 5개 이상의 과제를 수행한 뒤의 도구 호출 가운데 약 30%가 이전 동작을 반복했고, 매번 로드되는 도구 23개 중 16개는 한 번도 사용되지 않았다고 밝혔다. 또 분석 대상 과제의 17%에 해당하는 실패 실행 10건이 전체 비용의 32%를 차지했다.

토큰이코노마이저는 마이크로스킬, 도구 정리(Tool Pruning), 실패 루프 개입(Failure-loop Intervention) 등 세 가지 기능을 제공한다. 웹 개발 벤치마크인 웹벤치(Web-Bench)에서는 16.0~21.2%의 비용 절감이 확인됐다.