- 自动会话管理
- 锁定 195 个国家/地区的任意城市
- 无限并发会话
结构化数据提取
简而言之:结构化数据提取可将面向人类编写的页面内容转换为一致、机器可读的记录。正是这一步将已获取的页面转化为可用数据。
结构化数据提取会识别文档中的特定值,并将其映射到命名字段。产品页面会转化为包含标题、价格、货币、库存状态和评分的记录。页面本身是为浏览器设计的展示标记,因此,数据提取就是还原用于构建该页面的底层数据。
提取方法:
- CSS 选择器:按 class、id 或位置定位元素。速度快且精确,但依赖当前的标记结构。
- XPath:使用表达能力更强的查询遍历文档树,包括根据文本内容或同级元素关系进行选择。
- 嵌入式结构化数据:读取网站已面向搜索引擎发布的 JSON-LD、Microdata 或 RDFa。
- 内部 API 响应:捕获页面自身请求的 JSON,这些数据已经结构化,通常比标记结构更稳定。
- 正则表达式:对原始文本进行模式匹配。适用于价格或日期等格式规范的值,但用于其他内容时较为脆弱。
- 基于模型的提取:使用语言模型从页面文本中识别字段,无需选择器;这种方法以精确度和成本为代价换取更强的适应能力。
方法比较:
| 方法 | 精确度 | 应对页面改版的能力 | 每页成本 |
|---|---|---|---|
| CSS 选择器 | 高 | 低 | 可忽略不计 |
| XPath | 高 | 低至中 | 可忽略不计 |
| JSON-LD | 高 | 高 | 可忽略不计 |
| 内部 API | 非常高 | 中 | 可忽略不计 |
| 正则表达式 | 中 | 中 | 可忽略不计 |
| 基于模型 | 中至高 | 非常高 | 较高 |
优先使用已发布的结构化数据:
许多网站已经公开了整洁的结构化数据,因为这样做有助于提升搜索引擎表现。带有 Schema.org 标记的产品页面会在 JSON 数据块中包含价格、货币、库存状态和评论数量,而这是网站有意添加的。
读取该数据块比解析其周围经过渲染的标记更可靠。每次改版都可能改变可见布局,而结构化数据块会得到持续维护,因为一旦出现问题,就会损害网站在搜索结果中的表现。在编写选择器之前先检查 JSON-LD,是数据提取工作中最有价值的习惯之一。
需要注意的是,已发布的数据有时并不完整,偶尔会显示标价而非实际展示的价格,而且许多网站根本不提供此类数据。
带回退机制的数据提取:
import json
from bs4 import BeautifulSoup
def extract_product(html):
soup = BeautifulSoup(html, "lxml")
record = {}
# Preferred source: published structured data
for block in soup.find_all("script", type="application/ld+json"):
try:
data = json.loads(block.string)
except (ValueError, TypeError):
continue
if isinstance(data, dict) and data.get("@type") == "Product":
offers = data.get("offers", {})
record["title"] = data.get("name")
record["price"] = offers.get("price")
record["currency"] = offers.get("priceCurrency")
break
# Fallback: selectors against rendered markup
if not record.get("title"):
node = soup.select_one("h1.product-title")
record["title"] = node.get_text(strip=True) if node else None
if not record.get("price"):
node = soup.select_one("[data-price], span.price")
record["price"] = node.get_text(strip=True) if node else None
return record
首先尝试使用结构化数据,再用选择器填补缺失内容,并让每次查找在失败时返回 None,而不是引发异常。字段缺失尚可恢复,但批处理进行到一半时崩溃则无法接受。
数据提取为何会失败:
标记发生变化。当 class 从 price 重命名为 price-current 时,查询会悄无声息地返回空结果。这是数据提取失败最常见的原因,而且它会产生空字段而不是错误。
模板不一致。促销商品、捆绑商品和缺货商品经常使用与标准模板不同的标记,因此在十个页面上验证有效的选择器可能会在第十一个页面上失效。
客户端渲染的内容。如果某个值由 JavaScript 注入,它就不会出现在初始 HTML 中,需要通过 JavaScript 渲染才能显示。
本地化。同一网站可能会根据访问者所在地区返回不同的标记、货币符号、小数分隔符和日期格式。
验证提取结果:
静默失败是最典型的风险。损坏的选择器返回空字符串,数据管道将其存储下来,却无人察觉,直到下游报告显示某件产品的价格似乎为零。
应对方法是检查提取结果,而不是直接信任它。确认必填字段均已填充,确认类型和取值范围合理,并在任意字段的空值率于不同运行批次之间出现大幅变化时发出警报。如果某个价格字段昨天的填充率为 99%,今天却只有 4%,这说明网站发生了变化,而不是市场出现了波动。
Bright Data 的网页抓取工具 API可为 800 多个网站返回采用明确定义架构的已解析记录,并由服务提供商负责维护选择器,从而消除导致数据管道故障的最常见原因。