发生了什么
IBM Research 于9月15日发布代理重复运行一致性研究,强调平均成功与同一任务每次都成功之间的区别。
为何重要
一次演示可能掩盖决策不稳定。代理有时选择不同文件、跳过检查或执行多余动作,这些变化会影响开发流程。平均分不能说明某个工作流程是否可靠。应保留结果分布,并检查发生分歧的执行轨迹。
接下来检查什么
在相同条件下重复固定任务,不提供之前的答案。同时记录平均成功率和每次都成功的任务比例,区分可恢复错误与危险动作。Codorc 尚未复现论文实验,这里提供的是实际评估建议。
事件日期指原始公告日期,发布日期指本文首次刊登于 Codorc 的日期。



