3.3.4 上下文相关词表示
虽然像Word2Vec这样的模型已经能够为词语提供具有语义的向量表示,但是它只为每个词分配一个固定的向量表示,不论它在句中出现的语境如何。这种表示被称为静态词向量(static embeddings)。 然...
3.3.3.4 应用Word2Vec词向量
训练好的词向量,通常用于初始化下游NLP任务的嵌入层。 在现代深度学习的 NLP 模型中,大多数任务的输入第一层都是嵌入层。本质上,嵌入层就是一个查找表(lookup table):输入是词在词汇表中...
3.3.3.3 获取Word2Vec词向量
词向量的获取通常有两种方式:一种是直接使用他人公开发布的词向量,另一种是在特定语料上自行训练。 在实际工作中,无论是加载已有模型还是从零训练,都可借助Gensim来完成,它提供了便捷的接...
9.4 案例:古诗生成
9.4.1 数据预处理 数据在.txt文件中,每行为一首诗。 首先将每个字作为一个词构建词表。并将原文转换为索引序列。 import re import torch from torch import nn, optim from torch.utils.data ...
第 9 章 循环神经网络
9.1 自然语言处理概述 我们平日使用的语言,如汉语或英语,称为自然语言。自然语言处理(Natural Language Processing,NLP)的目标就是让计算机理解人类语言,进而完成对我们有帮助的事情。 说...
8.5 案例:服装分类
使用Fashion MNIST数据集:https://www.kaggle.com/datasets/zalando-research/fashionmnist。 数据集中每个样本都是28×28的灰度图像,与来自10个类别的标签相关联。标签对应如下: 0:T恤/上...
8.4 深度卷积神经网络
将神经网络的层数加深,可以更有效地提取层次信息,还可以减少参数数量,从而让学习更加高效。 基于CNN构建深度神经网络,可以提取出更多的图片信息,大幅提高图像识别精度。在人工智能的发展历...













