把早期历史压缩成摘要,再替换原始消息。
![图片[1]-2.4.3 摘要-大赛人网](https://www.dsrw.com/wp-content/uploads/2026/11/image-1156.png)
消息裁剪和删除都会导致上下文缺失,影响回答质量和用户体验。和它们相比,摘要是更适合长会话的折中方案:保语义,不保原文。官方推荐内置SummarizationMiddleware 。上一章已有讲解。
![图片[2]-2.4.3 摘要-大赛人网](https://www.dsrw.com/wp-content/uploads/2026/11/image-1157.png)
![图片[3]-2.4.3 摘要-大赛人网](https://www.dsrw.com/wp-content/uploads/2026/11/image-1158.png)
![图片[4]-2.4.3 摘要-大赛人网](https://www.dsrw.com/wp-content/uploads/2026/11/image-1159.png)
![图片[5]-2.4.3 摘要-大赛人网](https://www.dsrw.com/wp-content/uploads/2026/11/image-1160.png)
常见问题
- 摘要会丢失信息吗?
会有一些细节丢失,但:
- 重要信息会保留(姓名、关键事实)
- 最近的消息完整保留
- 对于大部分场景足够
![图片[6]-2.4.3 摘要-大赛人网](https://www.dsrw.com/wp-content/uploads/2026/11/image-1161.png)
3. 摘要成本高吗?
- 摘要只在超过阈值时触发
- 可以使用便宜的模型(如 gpt-4o-mini)
- 相比传输全部历史,通常更便宜
- 摘要触发的频率要关注吗?
要关注,根据监控摘要触发频率,调整阈值。
- 如果频繁触发 → 提高阈值
- 如果从不触发 → 降低阈值
2.4.4 自定义过滤策略
通过中间件可以随意更改消息列表,因此可以实现任意的过滤策略。
此处不再演示。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END

















请登录后查看评论内容