- 自动会话管理
- 锁定 195 个国家/地区的任意城市
- 无限并发会话
文档分块
简而言之:文档分块将长文档拆分成更小的片段,以便分别进行嵌入、索引和检索。分块边界决定了检索系统能够返回哪些内容。
文档分块是检索系统中的一个准备步骤。嵌入模型可接受的文本量有限,而且当返回的每个单元语义连贯且内容完整时,检索效果最佳。将一份 40 页的手册作为单个向量嵌入,只会产生一个与任何具体问题大多无关的结果。将同一份手册拆分成多个章节,则能得到直接回答问题的结果。
分块大小为何重要:
- 检索精度:较小的分块能更准确地匹配查询,因为无关文本较少,不会稀释嵌入表示。
- 上下文完整性:较大的分块可以保留片段中可能丢失的周边信息。
- Token 成本:检索到的分块会插入提示词中,因此分块大小会直接影响每次查询的成本。
- 答案质量:如果分块包含答案,却缺少其限定条件,就可能生成看似自信但实际错误的回答。
这种矛盾始终存在。检索精度倾向于使用更小的分块,上下文完整性则倾向于使用更大的分块,而不存在一种适合所有内容的统一大小。
分块策略:
| 策略 | 拆分依据 | 优势 | 劣势 |
|---|---|---|---|
| 固定长度 | 字符数或 Token 数 | 简单、大小可预测 | 会在句子或语义中间截断 |
| 句子 | 句子边界 | 不会拆开句子 | 分块大小差异很大 |
| 段落 | 空行 | 符合作者意图 | 对格式不佳的文本效果不佳 |
| 结构化 | 标题和章节 | 语义连贯的单元 | 需要结构化输入 |
| 递归 | 分隔符层级 | 可平稳降级 | 配置更复杂 |
| 语义 | 嵌入相似度变化 | 跟随主题变化 | 计算缓慢且成本高 |
结构化分块:
如果文档包含标题,按标题拆分通常优于基于大小的方法。标题代表作者有意设置的主题边界,其下方的文本本身就是一个连贯的单元。
这也是在分块前通过 HTML 转 Markdown 转换页面的一个实际原因。Markdown 以易于拆分的形式保留标题层级,而原始 HTML 会将其埋藏在标记中,纯文本提取则会将其完全丢弃。
其局限在于,许多文档没有可用的结构。转录文本、扫描文本和单块页面没有可供拆分的结构,因此需要改用递归或基于句子的方法。
递归分块:
SEPARATORS = ["n## ", "n### ", "nn", "n", ". ", " "]
def chunk(text, max_size, separators=SEPARATORS):
if len(text) <= max_size:
return [text]
if not separators:
# No separators left: split at the size limit
return [text[i:i + max_size]
for i in range(0, len(text), max_size)]
sep, rest = separators[0], separators[1:]
parts = text.split(sep)
chunks = []
for part in parts:
if len(part) <= max_size:
chunks.append(part)
else:
chunks.extend(chunk(part, max_size, rest))
return [c for c in chunks if c.strip()]
分隔符列表按边界强度从强到弱排序。首先尝试标题,然后是空行、换行、句子,最后是单个单词。只有在较强边界拆分后某个部分仍然过大时,才会继续使用更弱的边界。
重叠:
重叠会在下一个分块开头重复上一个分块的一部分,使边界附近的信息同时出现在两个分块中。
如果没有重叠,一个被拆分到两个分块中的句子不会完整存在于任何一个分块内,匹配该句子的查询可能只会检索到一段无法独立理解的片段。使用重叠后,边界区域至少会完整保留在一个分块中。
代价是存储空间增加和内容重复。20% 的重叠意味着需要多存储和搜索 20% 的向量,也意味着同一段内容可能在单个结果集中返回两次,因此必须进行去重处理。
常见起始配置:
以下数值是常见的起始配置,而非经过测量得出的最优值。请根据你自己的内容和评估集进行调整。
| 内容类型 | 分块大小 | 重叠 |
|---|---|---|
| 技术文档 | 基于章节 | 最少 |
| 长篇文章 | 500 至 1000 个 Token | 10% 至 20% |
| 产品描述 | 每个分块一条记录 | 无 |
| 转录文本 | 200 至 400 个 Token | 20% 至 30% |
| 法律和政策文本 | 基于条款 | 适中 |
元数据和上下文保留:
单独检索出的分块会丢失其周围的所有信息。附加元数据可以恢复部分上下文,同时不会增加嵌入文本的长度。
实用字段包括来源 URL、文档标题、分块所在的标题路径、分块在文档中的位置以及采集时间戳。检索结果便可显示“安装、要求、第 3 步”,而不是一个没有来源信息的段落;此外,在开始排序前,还可以通过筛选器将搜索范围限制在特定文档集或日期范围内。
一些系统还会在嵌入前将标题路径添加到分块文本的开头,使主题上下文能够影响向量本身。这可以改善短分块的匹配效果,但代价是索引中会出现少量重复内容。
分块与内容质量:
分块会放大输入内容本身的特征。如果页面仍包含导航菜单和页脚,这些片段就会变成可检索的分块,虽然能够匹配查询,却无法返回任何有用内容。在分块前执行样板内容去除,可以防止索引中充斥 Cookie 横幅。
Bright Data 的爬虫 API会返回干净的 Markdown,其中已去除样板内容并完整保留标题结构,这正是结构化分块所需的输入格式。