3.3.3.3 获取Word2Vec词向量
词向量的获取通常有两种方式:一种是直接使用他人公开发布的词向量,另一种是在特定语料上自行训练。 在实际工作中,无论是加载已有模型还是从零训练,都可借助Gensim来完成,它提供了便捷的接...
3.3.3.4 应用Word2Vec词向量
训练好的词向量,通常用于初始化下游NLP任务的嵌入层。 在现代深度学习的 NLP 模型中,大多数任务的输入第一层都是嵌入层。本质上,嵌入层就是一个查找表(lookup table):输入是词在词汇表中...
3.3.4 上下文相关词表示
虽然像Word2Vec这样的模型已经能够为词语提供具有语义的向量表示,但是它只为每个词分配一个固定的向量表示,不论它在句中出现的语境如何。这种表示被称为静态词向量(static embeddings)。 然...
第 4 章 传统序列模型
4.1 RNN 4.1.1 概述 在自然语言中,词语的顺序对于理解句子的含义至关重要。虽然词向量能够表示词语的语义,但它本身并不包含词语之间的顺序信息。 为了解决这一问题,研究者提出RNN(Recurrent...
4.1.7 案例实操(智能输入法)
需求说明 本案例旨在实现一个用于手机输入法的智能词语联想模型。具体需求为:根据用户当前已输入的文本内容,预测下一个可能输入的词语,要求返回概率最高的 5 个候选词供用户选择。 例如:向...
4.1.8 存在问题
尽管循环神经网络(RNN)在处理序列数据方面具有天然优势,但它在实际应用中面临一个非常严重的问题:长期依赖建模困难。这指的是:在训练过程中,当输入序列很长时,模型难以有效学习早期输入...
4.2.3 多层结构
与RNN类似,LSTM 也可以通过堆叠多个层来构建更深的网络,以增强模型对序列特征的建模能力。 在多层 LSTM 中,每一层 LSTM 的输出隐藏状态,会作为下一层 LSTM 的输入,同时每一层都维护独立的...
4.2.7 案例实操(AI智评V1.0)
需求说明 本案例的目标是基于 LSTM 构建一个文本情感分类模型,对评论内容进行二分类判断(正面或负面)。 2.需求分析 1)数据集处理 本案例的目标对用户评论文本进行性感分类,因此需使用带有...













