长对话最怕的,不是模型“笨”,而是我们把聊天记录越堆越长,最后连自己都找不到重点。我以前就干过这种事:舍不得删历史,想着“多留点总没错”。结果模型前面答应好的写作口径,聊到后面像没见过一样,输出开始跑偏,真的很让人抓狂。
后来我发现,动态摘要特别像会议速记。它不是把每一句话都压缩一遍,而是持续保留那些会影响下一步的内容:当前目标是什么、已经确认了哪些事实、做过什么决定、有哪些限制、还有什么没解决。对话继续推进,摘要也跟着更新;已经失效的背景就移出去,新的关键结论再补进来。
这样做省下的不是一点点重复文本,而是上下文里的“注意力空间”。模型不用反复消化整段旧聊天,而能先抓住一页清楚的进度说明,再结合最近几轮具体交流作答。最近的细节负责语气和即时任务,摘要负责维持长期一致性,两者搭配比把全部历史硬塞进去稳得多。
不过摘要也不是越短越好。只写“我们在讨论写作”基本没用;写得太细,又会重新变成一份臃肿的聊天记录。我现在更愿意把它当作项目便签:目标一句,已定事项几条,待确认问题几条。每当话题转向、要求变化,或者出现新结论,就顺手改一次。
动态摘要的价值,不是让模型记住所有对话,而是让它在有限空间里始终记住真正重要的事。长对话能不能聊得稳,往往就差这一张不断更新的“重点清单”。
参与讨论
暂无评论,快来发表你的观点吧!