爬虫与蜘蛛程序

简而言之:爬虫和蜘蛛程序含义相同。两者都指通过跟随链接自动浏览网页的程序。蜘蛛程序是较早的比喻,而爬虫是当前技术文档中使用的术语。

人们经常问爬虫与蜘蛛程序有何不同,坦率地说,两者并无区别。它们是同义词,类似说法还包括机器人程序、自动程序和网络漫游程序。真正存在区别的是网页爬取与网页爬虫之间的差异,而这通常才是大多数人真正想了解的区别。

这些术语的由来:

  1. 蜘蛛程序:源自“网”的比喻。如果互联网是一张网,那么沿着网线穿行的程序就是蜘蛛。这种形象化说法可以追溯到 20 世纪 90 年代初。
  2. 爬虫:描述按顺序从一个页面移动到另一个页面的过程。WebCrawler 于 1994 年推出,并将该词作为搜索引擎名称推广开来。
  3. 机器人程序:最直白的术语,保留在 robots.txt 文件名和《机器人排除协议》中。
  4. 自动程序:一种通用简称,如今涵盖各种自动化客户端,其中许多根本不执行网页爬取。

这些术语只是形成了不同的使用习惯,其含义并没有真正分化。搜索引擎文档使用“爬虫”,Scrapy 将其组件称为“蜘蛛程序”,服务器日志和反自动程序供应商则使用“自动程序”。它们本质上指的是同一种东西。

实际用法:

使用场景 常用术语
Google 和 Bing 文档 爬虫,也称 Googlebot 和 Bingbot
Scrapy 框架 蜘蛛程序,用作类名
SEO 工具 爬虫,也称网站爬取
服务器日志与安全 自动程序
robots.txt 和 RFC 9309 机器人程序
学术文献 爬虫

真正重要的区别:

网页爬取和抓取描述的是不同活动,将二者混为一谈会造成真正的困惑。

网页爬取用于发现。其目标是从种子 URL出发,通过不断跟随外部链接来发现 URL。纯粹的爬虫关注链接图,可能只保留它发现的 URL。

抓取用于提取。其目标是从地址已知的页面中提取特定的结构化数据。纯粹的抓取工具完全不需要执行任何发现操作。

大多数实际系统会同时执行这两种操作,因此这些术语的界限会变得模糊。价格监控流程会爬取分类页面以发现商品 URL,然后从每个商品页面中抓取标题、价格和库存情况。爬取回答“存在哪些页面”,抓取则回答“页面上有什么”。

两个组件,一条流程:

# Crawl phase: discover URLs
product_urls = crawl(
    seeds=["https://example.com/category/laptops"],
    scope="/product/*",
    max_depth=2
)

# Scrape phase: extract fields
for url in product_urls:
    page = fetch(url)
    record = {
        "title": select(page, "h1.product-title"),
        "price": select(page, "span.price"),
        "in_stock": select(page, "div.availability")
    }
    store(record)

将这两个阶段分开通常是很好的做法。发现的 URL 可以在多次运行中重复使用,无需重新爬取即可再次执行抓取,而且两个阶段还可以独立扩展和调度。

如何选择合适的术语:

在技术写作中,“爬虫”是更稳妥的默认选择。该词常见于搜索引擎文档、学术论文和大多数现代工具中,因此歧义最少。

“蜘蛛程序”仍然是正确的说法,在专门讨论链接图遍历或使用将其作为正式术语的框架时,有时会更加明确。当相关自动化程序并不执行网页爬取时,例如表单提交程序或凭据测试程序,使用“自动程序”更为合适。这也是反自动程序系统使用这一更宽泛术语的原因。

Bright Data 的爬虫 API负责发现页面,而网页抓取工具 API则从已知 URL 中提取结构化数据,这也体现了查找页面与读取页面之间的相同分工。

准备好开始了吗?