2.3.4 具体实现

举例1：字符串文本的分割

说明：若必须禁用分隔符（如处理无空格文本），需容忍实际块长略小于 chunk_size （尤其对中文）
举例2：指定分割符

举例1：使用split_text()方法演示

举例2：使用create_documents()方法演示，传入字符串列表，返回Document对象列表

逐步分割过程
第一阶段：顶级分割（按\n\n ）

1. 首次分割：

举例3：使用create_documents()方法演示，将本地文件内容加载成字符串，进行拆分

举例4：使用split_documents()方法演示，利用PDFLoader加载文档，对文档的内容用递归切割器切割

举例5：自定义分隔符
有些书写系统没有单词边界，例如中文、日文和泰文。使用默认分隔符列表[“\n\n”, “\n”, ” “, “”]分割文本可能导致单词错误的分割。为了保持单词在一起，你可以自定义分割字符，覆盖分隔符列表以包含额外的标点符号。

编码器说明
TokenTextSplitter 底层会用到 token 编码器，后者的主要功能是将输入的文本切分为token序列，并将token序列映射为ID序列，本质上是一个tokenizer 。
举例1：使用TokenTextSplitter

举例2：使用CharacterTextSplitter

举例1：支持的语言

举例2：