样板内容去除

简而言之:样板内容去除会剔除页面主要内容周围反复出现的元素,例如导航栏、页脚、广告和相关文章面板,只保留该页面独有的内容。

样板内容去除也称为内容提取或主要内容检测,旨在解决网页的一个结构性问题:页面包含的大部分内容并非页面的主题。一个 800 词的新闻稿通常嵌在一个还包含导航菜单、订阅提示、热门新闻侧边栏、评论区和页脚站点地图的文档中。文章本身可能只占可见文本的不到 10%。

哪些内容属于样板内容:

  1. 导航:在每个页面上都以相同形式出现的页眉、菜单、面包屑导航和分类链接。
  2. 页脚:站点地图、法律条款链接、联系信息和社交媒体图标。
  3. 广告:展示广告位、赞助内容区块和推广横幅。
  4. 相关内容:热门内容面板、“你可能还喜欢”模块和标签云。
  5. 界面装饰元素:Cookie 通知、简报订阅提示、付费墙浮层和分享按钮。
  6. 用户生成内容区:评论。它们有时属于样板内容,有时却是页面中最有价值的部分,具体完全取决于使用场景。

检测方法:

方法 判断方式 优势 劣势
语义标签 信任 article 和 main 元素 存在时准确度高 许多网站并不使用这些元素
文本密度 优先选择文本与标记比例较高的区块 无需语义标记也能工作 不适用于短页面或以列表为主的页面
链接密度 排除主要由链接组成的区块 能够可靠去除导航内容 可能会误删参考资料区
跨页面比较 去除全站重复出现的内容 准确度非常高 需要获取该网站的多个页面
网站特定规则 为每个网站手动编写选择器 精度最高 网站改版后容易失效,且无法规模化
基于模型 根据学习到的特征对区块进行分类 可泛化到不同网站 速度较慢,单页成本较高

文本密度的实际应用:

最常用的启发式方法基于一个简单的观察:导航元素会在少量文本中塞入大量链接,而文章段落通常包含大段文本和少量链接。

先根据每个区块中文本字符与标记字符的比例进行评分,再对大部分文本位于链接内的区块施加惩罚,即可在很大一部分页面上可靠地区分二者。Firefox 阅读模式及许多提取库背后的 Readability 算法正是基于这一原理构建的。

这种方法会以可预测的方式失效。真正以列表为主体的页面(例如商品分类页或搜索结果页)在这些指标下与导航完全相同,因此可能被全部剔除。短页面提供的信号太少。包含大量内联链接的页面(包括参考资料)即使是主要内容,也可能被判定为样板内容。

使用回退链进行提取:

from bs4 import BeautifulSoup
from readability import Document

STRIP = ["nav", "header", "footer", "aside",
         "script", "style", "form", "iframe"]

def main_content(html):
    soup = BeautifulSoup(html, "lxml")

    for tag in soup.find_all(STRIP):
        tag.decompose()

    # Prefer explicit semantic containers
    for selector in ["article", "main", "[role=main]"]:
        node = soup.select_one(selector)
        if node and len(node.get_text(strip=True)) > 200:
            return node

    # Fall back to density based extraction
    return BeautifulSoup(Document(html).summary(), "lxml")

系统会优先信任语义容器,因为网站使用 article 元素标记内容,就等于明确告知你内容的位置。长度检查可防止提取空容器,而基于密度的提取则用于处理其他所有情况。

判断错误的代价:

两种方向的错误都会造成损害,只是影响方式不同。

删除过多会丢失真实内容。过于激进的链接密度规则可能会删除参考资料列表、规格表,甚至以列表为主的页面的整个正文。这种错误不易被察觉,因为输出看起来仍然像是经过清理的提取结果。

删除过少会使导航和页脚残留在输出中。在检索系统中,这个问题比听起来更严重:来自同一网站的每个文档都会包含大段相同文本,从而污染嵌入向量,并导致近似重复的分块挤占真正匹配结果的空间。

尤其对于文档分块,残留的样板内容会产生严重负面影响。一个主要由 Cookie 横幅组成的分块虽然可以被检索到,却毫无意义,而且还会占用原本可以提供真实答案的位置。

样板内容去除与 Token 成本:

其经济效益非常直观。如果一个页面在 6,000 词的周边附属内容中只包含一篇 800 词的文章,那么处理整个页面的成本大约是仅处理文章的八倍,而额外的 Token 毫无贡献。

对于包含数百万个页面的语料库,样板内容去除通常是 AI 流程中最有效的单项降本措施,同时还能提高输出质量。

Bright Data 的爬虫 API会在返回结果前隔离主要内容,因此页面会直接以干净的 Markdown 形式返回,无需单独执行提取步骤。

准备好开始了吗?