2026年11月的文章 第47页

7.3 模型训练与推理机制-大赛人网

7.3 模型训练与推理机制

Transformer的训练与推理都基于自回归生成机制(Autoregressive Generation):模型逐步生成目标序列中的每一个词。然而,在实现方式上,训练与推理存在明显区别。 7.3.1 模型训练 训练时,Tran...
lanzeou的头像-大赛人网lanzeou14天前
0306
7.2.4.2 Masked 自注意力子层-大赛人网

7.2.4.2 Masked 自注意力子层

该子层的主要作用是:建模目标序列中当前位置与前文之间的依赖关系,为当前词的生成提供上下文语义支持。 由于 Transformer 不具备像 RNN 那样的隐藏状态传递机制,无法在序列生成过程中保留上...
lanzeou的头像-大赛人网lanzeou14天前
0487
7.2.4 解码器-大赛人网

7.2.4 解码器

7.2.4.1 概述 Transformer解码器的主要功能是:根据编码器的输出,逐步生成目标序列中的每一个词。其生成方式采用自回归机制(autoregressive):每一步的输入由此前已生成的所有词组成,模型将...
lanzeou的头像-大赛人网lanzeou14天前
06215
7.2.3.3 前馈神经网络层-大赛人网

7.2.3.3 前馈神经网络层

前馈神经网络(Feed-Forward Network,简称FFN)是Transformer编码器中每个子层的重要组成部分,紧接在多头注意力子层之后。它通过对每个位置的表示进行逐位置、非线性的特征变换,进一步提升模...
lanzeou的头像-大赛人网lanzeou14天前
05812
第 7 章 Transformer模型-大赛人网

第 7 章 Transformer模型

7.1 概述 此前的Seq2Seq模型通过注意力机制取得了一定提升,但由于整体结构仍依赖 RNN,依然存在计算效率低、难以建模长距离依赖等结构性限制。 为了解决这些问题,Google在2017 年发表一篇论文...
lanzeou的头像-大赛人网lanzeou14天前
0449
6.4 案例实操(中英翻译V2.0)-大赛人网

6.4 案例实操(中英翻译V2.0)

6.4.1 需求说明 本案例要求在已有的Seq2Seq 模型基础上,引入注意力机制,以提升模型在处理长句或复杂句时的表达能力和生成质量。 6.4.2 需求分析 为引入Attention机制,模型结构做出如下改变:...
lanzeou的头像-大赛人网lanzeou14天前
03612
6.3 注意力评分函数-大赛人网

6.3 注意力评分函数

6.3.1 概述 注意力评分函数有多种实现方式。本节将介绍三种常见的计算方法:点积评分(Dot)、通用点积评分(General)和拼接评分(Concat)。它们虽然在结构上各有差异,但本质上都是用于衡量...
lanzeou的头像-大赛人网lanzeou14天前
04712
第 6 章 Attention机制-大赛人网

第 6 章 Attention机制

6.1 概述 传统的 Seq2Seq 模型中,编码器在处理源句时,无论其长度如何,最终都只能将整句信息压缩为一个固定长度的上下文向量,用作解码器的唯一参考。这种设计存在两个显著问题: 信息压缩困...
lanzeou的头像-大赛人网lanzeou14天前
03215
5.4 案例实操-大赛人网

5.4 案例实操

5.4.1 需求说明 本案例的目标是实现一个简易的中→英翻译模型,输入为中文句子(如“我喜欢你。”),输出为英文翻译结果(如“I like you.”)。 5.4.2 需求分析 数据处理 本案例使用的数据集...
lanzeou的头像-大赛人网lanzeou14天前
0327
5.3 模型训练和推理机制-大赛人网

5.3 模型训练和推理机制

5.3.1 模型训练 Seq2Seq 模型的训练目标,是在给定输入序列的条件下,逐步生成完整且准确的目标序列。下面以一个中–英机器翻译样本为例,说明训练过程的各个环节。 假设某个训练样本为: 中文...
lanzeou的头像-大赛人网lanzeou14天前
04314