文档分块

简而言之:文档分块将长文档拆分成更小的片段,以便分别进行嵌入、索引和检索。分块边界决定了检索系统能够返回哪些内容。

文档分块是检索系统中的一个准备步骤。嵌入模型可接受的文本量有限,而且当返回的每个单元语义连贯且内容完整时,检索效果最佳。将一份 40 页的手册作为单个向量嵌入,只会产生一个与任何具体问题大多无关的结果。将同一份手册拆分成多个章节,则能得到直接回答问题的结果。

分块大小为何重要:

  1. 检索精度:较小的分块能更准确地匹配查询,因为无关文本较少,不会稀释嵌入表示。
  2. 上下文完整性:较大的分块可以保留片段中可能丢失的周边信息。
  3. Token 成本:检索到的分块会插入提示词中,因此分块大小会直接影响每次查询的成本。
  4. 答案质量:如果分块包含答案,却缺少其限定条件,就可能生成看似自信但实际错误的回答。

这种矛盾始终存在。检索精度倾向于使用更小的分块,上下文完整性则倾向于使用更大的分块,而不存在一种适合所有内容的统一大小。

分块策略:

策略 拆分依据 优势 劣势
固定长度 字符数或 Token 数 简单、大小可预测 会在句子或语义中间截断
句子 句子边界 不会拆开句子 分块大小差异很大
段落 空行 符合作者意图 对格式不佳的文本效果不佳
结构化 标题和章节 语义连贯的单元 需要结构化输入
递归 分隔符层级 可平稳降级 配置更复杂
语义 嵌入相似度变化 跟随主题变化 计算缓慢且成本高

结构化分块:

如果文档包含标题,按标题拆分通常优于基于大小的方法。标题代表作者有意设置的主题边界,其下方的文本本身就是一个连贯的单元。

这也是在分块前通过 HTML 转 Markdown 转换页面的一个实际原因。Markdown 以易于拆分的形式保留标题层级,而原始 HTML 会将其埋藏在标记中,纯文本提取则会将其完全丢弃。

其局限在于,许多文档没有可用的结构。转录文本、扫描文本和单块页面没有可供拆分的结构,因此需要改用递归或基于句子的方法。

递归分块:

SEPARATORS = ["n## ", "n### ", "nn", "n", ". ", " "]

def chunk(text, max_size, separators=SEPARATORS):
    if len(text) <= max_size:
        return [text]

    if not separators:
        # No separators left: split at the size limit
        return [text[i:i + max_size]
                for i in range(0, len(text), max_size)]

    sep, rest = separators[0], separators[1:]
    parts = text.split(sep)

    chunks = []
    for part in parts:
        if len(part) <= max_size:
            chunks.append(part)
        else:
            chunks.extend(chunk(part, max_size, rest))

    return [c for c in chunks if c.strip()]

分隔符列表按边界强度从强到弱排序。首先尝试标题,然后是空行、换行、句子,最后是单个单词。只有在较强边界拆分后某个部分仍然过大时,才会继续使用更弱的边界。

重叠:

重叠会在下一个分块开头重复上一个分块的一部分,使边界附近的信息同时出现在两个分块中。

如果没有重叠,一个被拆分到两个分块中的句子不会完整存在于任何一个分块内,匹配该句子的查询可能只会检索到一段无法独立理解的片段。使用重叠后,边界区域至少会完整保留在一个分块中。

代价是存储空间增加和内容重复。20% 的重叠意味着需要多存储和搜索 20% 的向量,也意味着同一段内容可能在单个结果集中返回两次,因此必须进行去重处理。

常见起始配置:

以下数值是常见的起始配置,而非经过测量得出的最优值。请根据你自己的内容和评估集进行调整。

内容类型 分块大小 重叠
技术文档 基于章节 最少
长篇文章 500 至 1000 个 Token 10% 至 20%
产品描述 每个分块一条记录 无
转录文本 200 至 400 个 Token 20% 至 30%
法律和政策文本 基于条款 适中

元数据和上下文保留:

单独检索出的分块会丢失其周围的所有信息。附加元数据可以恢复部分上下文,同时不会增加嵌入文本的长度。

实用字段包括来源 URL、文档标题、分块所在的标题路径、分块在文档中的位置以及采集时间戳。检索结果便可显示“安装、要求、第 3 步”,而不是一个没有来源信息的段落;此外,在开始排序前,还可以通过筛选器将搜索范围限制在特定文档集或日期范围内。

一些系统还会在嵌入前将标题路径添加到分块文本的开头,使主题上下文能够影响向量本身。这可以改善短分块的匹配效果,但代价是索引中会出现少量重复内容。

分块与内容质量:

分块会放大输入内容本身的特征。如果页面仍包含导航菜单和页脚,这些片段就会变成可检索的分块,虽然能够匹配查询,却无法返回任何有用内容。在分块前执行样板内容去除,可以防止索引中充斥 Cookie 横幅。

Bright Data 的爬虫 API会返回干净的 Markdown,其中已去除样板内容并完整保留标题结构,这正是结构化分块所需的输入格式。

准备好开始了吗?