미·UCSB, 논문 읽고 스스로 코드 고치는 AI 에이전트 공개
ScholarEvolve는 arXiv 논문과 공식 코드를 검토해 에이전트 구성을 바꾸고, AppWorld 일반 테스트에서 Qwen3.5-27B 완료율을 69.0%에서 81.4%로 끌어올렸다.
캘리포니아대학교 샌타바버라 캠퍼스(UCSB)와 마이크로소프트 연구진이 AI 에이전트가 학술 논문을 읽고 스스로 코드를 수정해 성능을 높이는 프레임워크 ScholarEvolve를 온라인 아카이브를 통해 공개했다고 aitimes.com이 보도했다.
이 프레임워크는 arXiv에서 논문을 검색한 뒤 연구 에이전트가 논문을 읽고 공식 코드를 확인하며, 이어 코딩 에이전트가 변경 사항을 실제로 구현하는 구조다. 에이전트는 도구 인터페이스, 컨텍스트 관리, 스킬, 메모리, 워크플로 등 5개 모듈로 나뉜다.
후보 변경 사항은 검증 데이터에서 평가되며, 시스템 전체에서 개선이 확인된 경우에만 기존 구성이 교체된다. AppWorld 일반 테스트에서는 Qwen3.5-27B의 작업 완료율이 69.0%에서 81.4%로 올랐고, 연구진은 GPT-5.4와의 성능 격차를 약 74% 줄였다고 밝혔다. tau-Bench Telecom 테스트에서는 GPT-5.4 mini가 72.7%에서 81.9%로 향상됐다.
학습에 없던 Amazon과 Gmail API를 사용한 AppWorld Challenge 테스트에서도 Qwen3.5-27B 에이전트는 49.6%에서 63.6%로 상승했으며, 해당 테스트에서 Meta-Harness보다 9%포인트 높은 점수를 기록했다. Python 실행 오류가 발생한 경우에도 개선된 에이전트는 44.9%였던 기존 구성과 달리 59.9%의 작업을 완료했다.
연구진은 Qwen 모델 가중치와 기존 과제 데이터를 그대로 둔 채 세 차례 진화 과정을 실행했고, 매 회차 AppWorld 성능이 개선됐다고 설명했다.
한눈에 보기
ScholarEvolve는 무엇인가?
UCSB와 마이크로소프트 연구진이 공개한 프레임워크로, 에이전트가 arXiv 논문을 읽고 공식 코드를 확인한 뒤 스스로 코드를 수정하도록 설계됐다.
성능은 얼마나 올랐나?
AppWorld 일반 테스트에서 Qwen3.5-27B의 작업 완료율이 69.0%에서 81.4%로, tau-Bench Telecom에서 GPT-5.4 mini가 72.7%에서 81.9%로 상승했다.