概述 目前市面上可用于中文分词的工具种类繁多，按照实现方式大致可以分为如下两类： 一类是基于词典或模型的传统方法，主要以“词”为单位进行切分； 另一类是基于子词建模算法（如BPE）的方式...

尽管中文的语言结构与英文存在显著差异，我们仍可以借助“分词粒度”的视角，对中文的分词方式进行归类和分析。 字符级分词 字符级分词是中文处理中最简单的一种方式，即将文本按照单个汉字进行...

3.1 概述 文本表示是将自然语言转化为计算机能够理解的数值形式，是绝大多数自然语言处理（NLP）任务的基础步骤。 早期的文本表示方法（如词袋模型）通常将整段文本编码为一个向量。这类方法实...

2.1 创建conda环境 终端输入如下命令，创建项目的虚拟环境，并指定Python版本： conda create -n nlp python=3.12 激活该虚拟环境： conda activate nlp 2.2 安装所需依赖 本课程依赖以下软件和...

1.3.1 规则系统阶段 在20世纪50年代至80年代初，自然语言处理主要依赖人工编写的语言规则，这些规则由语言学家和程序员手动制定。这一阶段的代表系统有早期的机器翻译系统（如Georgetown-IBM实...