4、模型初始化角度3:本地模型的部署与调用
4.1 Ollama的介绍 LangChain也支持使用Ollama 、vLLM 等框架启动的本地大模型。这里以Ollama为例进行演示。Ollama是在Github上的一个开源项目,其项目定位是:一个本地运行大模型的集成框架,可...
5、模型的调用
在 LangChain 中,模型调用(Invocation)是指通过特定方法触发大语言模型生成输出的过程。根据不同的应用场景和需求,LangChain 提供了几种核心的调用方式,主要是 invoke() 、stream() 和batc...
5.2 流式调用
invoke 和 stream 有什么区别? invoke() :同步调用,在模型输出完成后一次性获取响应,对于输出文本很长的场景,用户体验不好。 stream() :流式调用,实时返回响应片段。调用后,返回一个迭...
5.4 异步调用
复习:同步 vs 异步 同步(sync) : 概念:发起一个任务之后,需要等待该任务完成后,才能继续执行后续任务。 表现:当前执行流会被『阻塞』。 异步(async) : 概念:发起一个任务之后, 不必等...
6、拓展内容
6.1 美化模型输出响应 方法1:使用pretty_print()我们查看响应的方式是直接print(response),返回的内容比较杂乱,可以调用pretty_print() 美化输出内容。 from langchain.chat_models import i...
6.3.2 模型类的参数构成
以ChatDeepSeek为例,完整参数列表由如下几部分构成:1、客户端与连接参数 (Networking)这类参数决定了代码“怎么连到服务端”,而不是“让模型怎么生成”。 2、模型推理参数 (Model Inference)...
第03章:LangSmith基本使用
1、LangSmith概述 1.1 什么是LangSmith?LangSmith 是 LangChain 生态系统中专门用于 LLM(大语言模型)应用调试、监控、评估和管理 的平台。🔍 追踪(tracing):记录每次 LLM 调用的详细信息📊 ...
2、准备账号
2.1 注册或登录步骤1:访问官网访问Langsmith官网:https://smith.LangChain.com/ 步骤2:自由选择注册或登录方式步骤3:登录成功 2.2 获取API_KEY步骤1:打开设置 步骤2:创建API_KEY 步骤3:...
第04章:消息与提示词模板
1、认识消息 大模型没有记忆,它的输出只和输入模型的内容有关(上下文)。很多大模型API服务也没有在服务端维护会话历史,是“ 无状态”的。因此,如果应用需要“记住”对话历史,需要在程序中...
1.6 实战
1.6.1 对话历史管理关键规则:每次调用必须传递完整的对话历史!也就是说: 第 1 轮: [system, user] → AI回复 → 保存回复 第 2 轮: [system, user, assistant, user] → AI回复 →...












