Agent Harness Lab 后续实验复盘
在20道真实开源项目代码修复任务上,对比一次性生成、无工具多轮修订与能够搜索、编辑、运行代码的 Agent。结合成功率、补丁失败阶段和真实调试轨迹,分析不同工作方式的表现差异,以及执行能力验证中遇到的工程问题。
在20道真实开源项目代码修复任务上,对比一次性生成、无工具多轮修订与能够搜索、编辑、运行代码的 Agent。结合成功率、补丁失败阶段和真实调试轨迹,分析不同工作方式的表现差异,以及执行能力验证中遇到的工程问题。
一次基于 SWE-bench Lite,对比同一模型在 One-shot 与 Agent Loop 下的代码修复表现,并分析多次 rollout、Pass@k、step limit 与失败模式的实验复盘。
一次 AI Coding 项目的复盘与感悟。