- 自动会话管理
- 锁定 195 个国家/地区的任意城市
- 无限并发会话
样板内容去除
简而言之:样板内容去除会剔除页面主要内容周围反复出现的元素,例如导航栏、页脚、广告和相关文章面板,只保留该页面独有的内容。
样板内容去除也称为内容提取或主要内容检测,旨在解决网页的一个结构性问题:页面包含的大部分内容并非页面的主题。一个 800 词的新闻稿通常嵌在一个还包含导航菜单、订阅提示、热门新闻侧边栏、评论区和页脚站点地图的文档中。文章本身可能只占可见文本的不到 10%。
哪些内容属于样板内容:
- 导航:在每个页面上都以相同形式出现的页眉、菜单、面包屑导航和分类链接。
- 页脚:站点地图、法律条款链接、联系信息和社交媒体图标。
- 广告:展示广告位、赞助内容区块和推广横幅。
- 相关内容:热门内容面板、“你可能还喜欢”模块和标签云。
- 界面装饰元素:Cookie 通知、简报订阅提示、付费墙浮层和分享按钮。
- 用户生成内容区:评论。它们有时属于样板内容,有时却是页面中最有价值的部分,具体完全取决于使用场景。
检测方法:
| 方法 | 判断方式 | 优势 | 劣势 |
|---|---|---|---|
| 语义标签 | 信任 article 和 main 元素 | 存在时准确度高 | 许多网站并不使用这些元素 |
| 文本密度 | 优先选择文本与标记比例较高的区块 | 无需语义标记也能工作 | 不适用于短页面或以列表为主的页面 |
| 链接密度 | 排除主要由链接组成的区块 | 能够可靠去除导航内容 | 可能会误删参考资料区 |
| 跨页面比较 | 去除全站重复出现的内容 | 准确度非常高 | 需要获取该网站的多个页面 |
| 网站特定规则 | 为每个网站手动编写选择器 | 精度最高 | 网站改版后容易失效,且无法规模化 |
| 基于模型 | 根据学习到的特征对区块进行分类 | 可泛化到不同网站 | 速度较慢,单页成本较高 |
文本密度的实际应用:
最常用的启发式方法基于一个简单的观察:导航元素会在少量文本中塞入大量链接,而文章段落通常包含大段文本和少量链接。
先根据每个区块中文本字符与标记字符的比例进行评分,再对大部分文本位于链接内的区块施加惩罚,即可在很大一部分页面上可靠地区分二者。Firefox 阅读模式及许多提取库背后的 Readability 算法正是基于这一原理构建的。
这种方法会以可预测的方式失效。真正以列表为主体的页面(例如商品分类页或搜索结果页)在这些指标下与导航完全相同,因此可能被全部剔除。短页面提供的信号太少。包含大量内联链接的页面(包括参考资料)即使是主要内容,也可能被判定为样板内容。
使用回退链进行提取:
from bs4 import BeautifulSoup
from readability import Document
STRIP = ["nav", "header", "footer", "aside",
"script", "style", "form", "iframe"]
def main_content(html):
soup = BeautifulSoup(html, "lxml")
for tag in soup.find_all(STRIP):
tag.decompose()
# Prefer explicit semantic containers
for selector in ["article", "main", "[role=main]"]:
node = soup.select_one(selector)
if node and len(node.get_text(strip=True)) > 200:
return node
# Fall back to density based extraction
return BeautifulSoup(Document(html).summary(), "lxml")
系统会优先信任语义容器,因为网站使用 article 元素标记内容,就等于明确告知你内容的位置。长度检查可防止提取空容器,而基于密度的提取则用于处理其他所有情况。
判断错误的代价:
两种方向的错误都会造成损害,只是影响方式不同。
删除过多会丢失真实内容。过于激进的链接密度规则可能会删除参考资料列表、规格表,甚至以列表为主的页面的整个正文。这种错误不易被察觉,因为输出看起来仍然像是经过清理的提取结果。
删除过少会使导航和页脚残留在输出中。在检索系统中,这个问题比听起来更严重:来自同一网站的每个文档都会包含大段相同文本,从而污染嵌入向量,并导致近似重复的分块挤占真正匹配结果的空间。
尤其对于文档分块,残留的样板内容会产生严重负面影响。一个主要由 Cookie 横幅组成的分块虽然可以被检索到,却毫无意义,而且还会占用原本可以提供真实答案的位置。
样板内容去除与 Token 成本:
其经济效益非常直观。如果一个页面在 6,000 词的周边附属内容中只包含一篇 800 词的文章,那么处理整个页面的成本大约是仅处理文章的八倍,而额外的 Token 毫无贡献。
对于包含数百万个页面的语料库,样板内容去除通常是 AI 流程中最有效的单项降本措施,同时还能提高输出质量。
Bright Data 的爬虫 API会在返回结果前隔离主要内容,因此页面会直接以干净的 Markdown 形式返回,无需单独执行提取步骤。