SUNNY · SESSION STRATEGY EXPERIMENT · 120 RUNS

更多对话历史,没有换来稳定的交付收益

相同任务说明与仓库现场下,五种接手方式的成本与速度因模型而异。新开仍能接手项目;保留历史并非交付的必要条件。

未缓存输入缓存读取输出缓存写入已计入,本次均为 $0费用:均值 USD · 时间:中位分钟 · 合格:次数 / 3
共同结论
没有一种策略在两个模型、两类任务中全面胜出;短摘要也没有稳定优于直接新开。
Sol
新开与摘要显著减少开销;完整历史没有体现出稳定的交付收益。
DeepSeek
费用差距较小,保留历史可加速 E2E;bugfix 的新开和 compact 表现较稳。
口径:八个分组,每组五种策略 × 三次。费用汇总输入、缓存读取、缓存写入、输出,并包含原生 compact;不含旧任务开发及共用摘要准备成本。费用来自冻结运行时费率估算,并非账单。≥ 表示中断导致 usage 可能不完整,所示为下界;失败运行仍计入费用与时间。
完整交付合格要求验收与完成协议通过;E2E 衡量观察报告是否正确,并非产品全部测试通过。120 次中 18 次未完整合格,14 次涉及运行故障或超时,4 次为已完成的功能边界缺陷;不能直接将合格率视为模型能力差异。
两轮分别为此前长历史与复杂旧任务历史,长度并非递增;每轮共用一个冻结历史。每格 n=3,缓存冷热、服务波动及中途磁盘暂停未被完全控制。图中费用、时间均使用跨模型统一线性刻度,原始数值可直接阅读;窄屏可横向滚动。
来源:前轮数据 · 复杂旧任务轮数据 · 本图 40 行数据 · 完整报告