lanzeou-大赛人网-第86页
lanzeou的头像-大赛人网
lanzeou管理员超级版主
这家伙很懒,什么都没有写...
7.2.3.3 前馈神经网络层-大赛人网

7.2.3.3 前馈神经网络层

前馈神经网络(Feed-Forward Network,简称FFN)是Transformer编码器中每个子层的重要组成部分,紧接在多头注意力子层之后。它通过对每个位置的表示进行逐位置、非线性的特征变换,进一步提升模...
7.2.4 解码器-大赛人网

7.2.4 解码器

7.2.4.1 概述 Transformer解码器的主要功能是:根据编码器的输出,逐步生成目标序列中的每一个词。其生成方式采用自回归机制(autoregressive):每一步的输入由此前已生成的所有词组成,模型将...
7.2.4.2 Masked 自注意力子层-大赛人网

7.2.4.2 Masked 自注意力子层

该子层的主要作用是:建模目标序列中当前位置与前文之间的依赖关系,为当前词的生成提供上下文语义支持。 由于 Transformer 不具备像 RNN 那样的隐藏状态传递机制,无法在序列生成过程中保留上...
7.3 模型训练与推理机制-大赛人网

7.3 模型训练与推理机制

Transformer的训练与推理都基于自回归生成机制(Autoregressive Generation):模型逐步生成目标序列中的每一个词。然而,在实现方式上,训练与推理存在明显区别。 7.3.1 模型训练 训练时,Tran...
7.4 API使用-大赛人网

7.4 API使用

7.4.1 概述 PyTorch 提供了对 Transformer 的官方实现,该模块封装了完整的编码器-解码器结构,可直接应用于机器翻译、文本生成等典型的序列建模任务。 7.4.2 核心类 PyTorch 中的 Transformer ...
7.4.5 Transformer.encoder-大赛人网

7.4.5 Transformer.encoder

nn.Transformer 模块中包含一个编码器部分,可通过属性transformer.encoder访问,其本质是一个nn.TransformerEncoder实例。通过其forward方法,可以对源序列进行编码,提取上下文相关的语义表示...
7.5 案例实操(中英翻译V3.0)-大赛人网

7.5 案例实操(中英翻译V3.0)

7.5.1 需求说明 本案例要求使用Transformer模型实现上述中英翻译任务。 7.5.2 需求分析 PyTorch 已提供了 nn.Transformer 模块,包含完整的编码器-解码器结构,因此我们可以直接使用其核心组件...
第 8 章 预训练模型-大赛人网

第 8 章 预训练模型

8.1 预训练模型概述 早期的自然语言处理方法通常针对每个具体任务单独训练模型,且严重依赖大量人工标注数据。虽然在部分场景下效果可观,但也暴露出显著局限: 语言知识难以复用:每个模型都需...
8.3 主流预训练模型详解-大赛人网

8.3 主流预训练模型详解

8.3.1 GPT 概述 GPT(Generative Pre-trained Transformer)是第一个系统性提出“预训练 + 微调”范式的语言模型。 其核心思想是通过大规模无监督语料进行生成式语言建模预训练,即训练模型根据...
8.3.2 BERT-大赛人网

8.3.2 BERT

概述 BERT(Bidirectional Encoder Representations from Transformers)是由 Google 于 2018 年提出的一种语言预训练模型。其核心创新在于采用 Transformer 的编码器(Encoder)结构,通过双向...