4.2.8 存在问题
尽管 LSTM 相较传统 RNN 解决了长期依赖问题,性能大幅提升,但在实际应用中,仍存在一些明显的局限性和问题,主要包括: 难以并行计算 LSTM 的时间步之间具有强依赖性(后一个时间步的输入依赖...
4.3.7 案例实操(AI智评V2.0)
将上一节使用LSTM实现的评论情感分析模型改为使用GRU,并对比两者的效果,另外也改用RNN实现,对比其效果。 项目结构 项目结构如下: 2.完整代码 (1)数据预处理 # process.py import pandas a...
第 5 章 Seq2Seq模型
5.1 概述 传统的自然语言处理任务(如文本分类、序列标注)以静态输出为主,其目标是预测固定类别或标签。然而,现实中的许多应用需要模型动态生成新的序列,例如: 机器翻...
5.3 模型训练和推理机制
5.3.1 模型训练 Seq2Seq 模型的训练目标,是在给定输入序列的条件下,逐步生成完整且准确的目标序列。下面以一个中–英机器翻译样本为例,说明训练过程的各个环节。 假设某个训练样本为: 中文...
第 6 章 Attention机制
6.1 概述 传统的 Seq2Seq 模型中,编码器在处理源句时,无论其长度如何,最终都只能将整句信息压缩为一个固定长度的上下文向量,用作解码器的唯一参考。这种设计存在两个显著问题: 信息压缩困...
6.3 注意力评分函数
6.3.1 概述 注意力评分函数有多种实现方式。本节将介绍三种常见的计算方法:点积评分(Dot)、通用点积评分(General)和拼接评分(Concat)。它们虽然在结构上各有差异,但本质上都是用于衡量...
6.4 案例实操(中英翻译V2.0)
6.4.1 需求说明 本案例要求在已有的Seq2Seq 模型基础上,引入注意力机制,以提升模型在处理长句或复杂句时的表达能力和生成质量。 6.4.2 需求分析 为引入Attention机制,模型结构做出如下改变:...
第 7 章 Transformer模型
7.1 概述 此前的Seq2Seq模型通过注意力机制取得了一定提升,但由于整体结构仍依赖 RNN,依然存在计算效率低、难以建模长距离依赖等结构性限制。 为了解决这些问题,Google在2017 年发表一篇论文...













