3.8 ContextEditingMiddleware中间件

上下文编辑中间件,该中间件提供了上下文管理的一种方式。
通过更改发送给模型的消息列表来控制成本。
注意:不会更改消息列表。因此我们只能通过token用量来推测是否对消息列表进行了裁剪。

  1. 实验组-启用上下文编辑
图片[1]-3.8 ContextEditingMiddleware中间件-大赛人网
图片[2]-3.8 ContextEditingMiddleware中间件-大赛人网
图片[3]-3.8 ContextEditingMiddleware中间件-大赛人网
图片[4]-3.8 ContextEditingMiddleware中间件-大赛人网

2. 对照组-不裁剪上下文

图片[5]-3.8 ContextEditingMiddleware中间件-大赛人网
图片[6]-3.8 ContextEditingMiddleware中间件-大赛人网

可以观察到,对照组的input_tokens明显大于实验组。

© 版权声明
THE END
喜欢就支持一下吧
点赞8 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容