2.4.3 摘要

把早期历史压缩成摘要,再替换原始消息。

图片[1]-2.4.3 摘要-大赛人网

消息裁剪和删除都会导致上下文缺失,影响回答质量和用户体验。和它们相比,摘要是更适合长会话的折中方案:保语义,不保原文。官方推荐内置SummarizationMiddleware 。上一章已有讲解。

图片[2]-2.4.3 摘要-大赛人网
图片[3]-2.4.3 摘要-大赛人网
图片[4]-2.4.3 摘要-大赛人网
图片[5]-2.4.3 摘要-大赛人网

常见问题

  1. 摘要会丢失信息吗?
    会有一些细节丢失,但:
  • 重要信息会保留(姓名、关键事实)
  • 最近的消息完整保留
  • 对于大部分场景足够
图片[6]-2.4.3 摘要-大赛人网

3. 摘要成本高吗?

  • 摘要只在超过阈值时触发
  • 可以使用便宜的模型(如 gpt-4o-mini)
  • 相比传输全部历史,通常更便宜
  1. 摘要触发的频率要关注吗?
    要关注,根据监控摘要触发频率,调整阈值。
  • 如果频繁触发 → 提高阈值
  • 如果从不触发 → 降低阈值

2.4.4 自定义过滤策略
通过中间件可以随意更改消息列表,因此可以实现任意的过滤策略。
此处不再演示。

© 版权声明
THE END
喜欢就支持一下吧
点赞11 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容