研究：编程代理框架复杂度对准确率影响有限，成本可差3倍
山东大学与加州大学伯克利分校研究对比Claude Code、OpenCode与mini-SWE-agent，发现同一模型下每任务成本最高相差近三倍。
据aitimes.com报道，来自中国山东大学和加州大学伯克利分校的研究人员对比了三种编程代理框架（harness）：Anthropic的Claude Code、开源框架OpenCode，以及极简框架mini-SWE-agent。研究已发布在一个在线预印本平台上。
研究在492个离线的SWE-bench Verified任务上进行评测，并将其拆分为45个困难任务和其余447个任务。测试模型包括开源的Qwen3.6-35B-A3B与Qwen3.8-27B，基于API的DeepSeek-V4-Flash、GLM-5.3-Flash和HY4-Preview，以及在Claude Code中运行的Claude Opus 5作为参照。
结果显示，功能丰富的框架并未稳定取得更高分数。约有13%的困难任务结果在成功与失败之间发生翻转，无论更换框架还是同一框架重复运行，都会出现这种情况。在大型任务上，OpenCode的得分比其他环境最多低9个百分点，其中约一半的差距源于在写出补丁前触碰到32,000个token的输出上限；而Claude Code具备自动要求模型继续输出的恢复机制。
在模型与任务相同的情况下，每个任务的成本随框架不同最高可相差3倍，这一差距从第一次API调用时便已存在。系统提示与工具定义中的固定上下文在Claude Code中超过10,000个token，而mini-SWE-agent约为800个token。在使用DeepSeek模型时，mini-SWE-agent因调用次数更多而比其他框架更贵，说明成本效率取决于模型与工作流的组合。DeepSeek官方命令行框架的成本处于其他框架的成功区间内，但在所比较的框架中每任务成本最高。
研究人员建议，在足够多的任务上进行重复测试，并简化系统提示与工具定义，而不是默认采用复杂的框架。
快速问答
这项研究对比了哪些编程代理框架？
对比了Anthropic的Claude Code、开源框架OpenCode和极简框架mini-SWE-agent，评测基于492个离线的SWE-bench Verified任务。
为什么同一模型的每任务成本会不同？
研究显示，系统提示与工具定义中的固定上下文差异明显：Claude Code超过10,000个token，mini-SWE-agent约为800个token；同时调用次数不同也会影响成本。