开始吧
我叫 Rafael Levy，是 Bright Data 的解决方案顾问。在过去六年中，我积累了丰富的数据收集经验。在最近的网络研讨会中，我分享了有关如何优化数据收集流程并实现显著成本节省的宝贵见解。以下是我们讨论的重点总结，旨在帮助你提升数据收集策略，并充分利用现有资源。
如今，高效的数据收集比以往任何时候都更加重要。然而，它也面临着自身的一系列挑战。网站正在越来越多地采用复杂的机器人拦截机制，使你更难访问所需数据。此外，与数据收集相关的成本可能会迅速累积，尤其是在你没有使用最高效的方法和代理时。
收集数据的不同方法
在收集数据方面，你可以采用多种方式，每种方式都有各自的优势和劣势。我们来看看这些方法：
1. 内部数据收集
- 优点： 对流程拥有完全控制权，可根据特定需求进行定制。
- 缺点： 需要大量资源，包括开发人员、服务器和基础设施。如果数据收集并非你的核心业务，这一点尤其具有挑战性。
- 适用场景： 最适合拥有专门团队和资源、能够管理复杂数据收集任务的组织。
2. 混合式数据收集
- 优点： 结合了内部控制的优势和第三方服务的效率。例如，使用 Bright Data 的解锁器服务可以帮助你绕过复杂的机器人拦截机制，而无需进行大量内部开发。
- 缺点： 仍然需要一些内部资源，但明显少于完全内部化的方法。
- 适用场景： 适合希望保持一定控制权，同时利用第三方专业能力处理特定任务的组织。
3. 数据即服务（DaaS）
- 优点： 将整个数据收集流程外包出去，使你能够专注于分析和使用数据，而不是收集数据。这可以带来显著的成本节省。
- 缺点： 对数据收集流程的控制较少，并可能对服务提供商产生依赖。
- 适用场景： 最适合核心业务是分析数据而非收集数据的组织。对于需要可靠数据、但不想承担管理收集流程开销的团队来说，这是一种高性价比解决方案。
通过了解这些方法，你可以选择最符合组织需求和资源状况的方式，确保数据收集流程更加高效且更具成本效益。
代理在数据收集中的重要性
代理在数据收集中扮演着关键角色，它们充当你的数据收集工具与目标网站之间的中介。了解不同类型的代理以及如何有效使用它们，会极大影响你的成功率和成本效率。
代理类型：
- 数据中心代理： 这是最具成本效益的代理，但由于抓取工具使用频率较高，也最容易被网站拦截。
- 住宅代理： 这些代理使用互联网服务提供商（ISP）分配给家庭用户的 IP 地址。它们被拦截的可能性较低，但价格更高。
- 移动代理： 这是最昂贵的代理，使用移动运营商分配的 IP 地址。它们被拦截的可能性最低。
选择合适的代理类型： 选择适当的代理类型取决于数据收集任务的具体要求。虽然住宅代理和移动代理被拦截的可能性更低，但如果使用得当，数据中心代理也可以非常具有成本效益。
成本影响与优化策略： 有效使用数据中心代理可以带来显著的成本节省。例如，通过添加适当的请求头和 Cookie，你可以提高数据中心代理的成功率，从而减少对更昂贵住宅代理的需求。Puppeteer 和 Selenium 等浏览器自动化工具也可以通过模拟人类行为，提升数据中心代理的效果。
使用数据中心 IP 节省成本的技巧
数据收集中最常见的误解之一，是认为所有任务都必须使用住宅 IP。虽然住宅 IP 有其优势，但如果使用得当，数据中心 IP 也可以成为一种高性价比替代方案。以下是一些最大化数据中心 IP 效果的技巧：
1. 使用请求头和 Cookie： 通过模拟标准浏览器的行为，你可以显著提高数据中心 IP 的成功率。为请求添加请求头和 Cookie，可以让它们看起来更合法，从而降低被拦截的概率。例如，在抓取 Amazon 时，添加适当的请求头和 Cookie 可以将成功率从 10% 提升到接近 100%。
2. 浏览器自动化： Puppeteer 和 Selenium 等工具可以进一步提升数据中心 IP 的成功率。通过使用这些工具，你可以自动执行浏览器操作来模拟人类行为，从而帮助绕过机器人检测系统。这种方法对于采用更复杂反机器人措施的网站尤其有用。
3. 阻止不必要的请求： 另一种有效技巧是阻止不必要的请求，例如图片和脚本请求，这可以节省带宽并降低成本。通过只加载数据收集所需的必要元素，你可以提升效率并降低开销。例如，在 Amazon 上阻止图片请求可以将带宽使用量减少 50% 以上。
数据收集的高级技巧
优化数据收集流程并不只是选择合适的代理。以下是一些高级技巧，可进一步提升效率和成本效益：
1. 阻止不必要的请求： 如前所述，阻止图片、CSS 文件和第三方脚本等非必要请求，可以节省大量带宽。Chrome DevTools 等工具允许你尝试阻止各种类型的请求，以查看哪些内容可以安全省略且不会破坏网站功能。将这些拦截规则实现到你的脚本中，可以带来可观的成本节省。
2. 自动化提取请求头和 Cookie： 手动设置请求头和 Cookie 可能很繁琐。将此流程自动化可以确保你始终拥有最新且最有效的设置。使用浏览器自动化访问网站、捕获必要的请求头和 Cookie，然后将它们应用到你的数据收集请求中。
3. 数据收集的最短路径： 数据收集的效率通常取决于获取数据所需的步骤数量。始终应尽量使用最短路径。例如，如果你需要从电商网站收集评论，可以直接构建评论页面的 URL，而不是在多个页面之间导航。这可以减少加载时间和带宽使用量。
4. 混合搭配不同方法： 有时候，混合方法是最有效的。例如，使用浏览器完成初始身份验证并捕获令牌，然后切换到 API 请求来进行后续数据收集。这样可以结合两种方法的优势，确保更高的成功率和效率。
定制服务计划以提升成本效率
优化数据收集流程不仅仅关乎你使用的技术方法，也包括选择合适的服务计划和定价模式。以下是如何确保你获得最佳性价比的方法：
1. 选择合适的定价模式： 不同代理提供商会提供不同的定价模式，例如按带宽计费或按请求计费的计划。例如，如果你的数据收集任务涉及加载大量数据，按请求计费的计划可能更具成本效益。相反，如果你发起大量请求但每次数据负载较小，按带宽计费的计划可能更适合。分析你的使用模式，以选择最合适的计划。
2. 月度和年度计划： 与按量付费选项相比，承诺使用月度或年度计划通常可以获得显著折扣。这些计划可以降低单位成本（无论是按 GB 还是按请求计算），并让支出更可预测。如果你比较谨慎，可以先从较小的承诺开始，随着对需求更有把握再逐步增加。
3. 用量承诺和价格协商： 将流量集中到一个提供商，并承诺更高用量，可以解锁更优惠的价格层级。例如，与其将流量拆分到多个提供商，不如将所有流量集中到 Bright Data 这样的单一提供商，从而获得大幅折扣。与提供商协商，以便根据你的用量获得最佳价格。
4. 案例研究示例： 我们曾有一位客户将流量按 50/50 分配给我们和另一家提供商，每月总支出为 31,000 美元。通过将 90% 的流量整合到我们这里，他们的总成本降至每月 24,000 美元，每年节省 84,000 美元。这个例子凸显了流量整合和战略规划带来的财务收益。
通过谨慎选择和定制服务计划，你可以显著降低数据收集成本，并更高效地分配资源。
问答亮点
在网络研讨会期间，我们回答了观众提出的几个有见地的问题。以下是一些关键要点：
1. 选择要下载的内容： 一位参会者询问，是否可以选择下载特定元素，而不是阻止所有内容。虽然你可以阻止图片和第三方脚本等不必要资源，但尝试只选择性下载某些元素可能会很棘手，并可能导致网站无法正常运行。更有效的方法是阻止图片或脚本等大类资源，然后根据网站正常运行所需内容进行微调。
2. 迁移 Puppeteer 代码： 另一个问题是关于将 Puppeteer 代码迁移到 Bright Data 的云端网络解锁器。解锁器更适合基于 API 的数据收集，而不是浏览器自动化。不过，我们的抓取浏览器产品可以在我们的服务器上执行 Puppeteer 脚本，让你获得浏览器自动化的全部优势，同时无需维护自己的基础设施。
3. 学习的额外资源： 对于刚接触网页爬虫的人，我建议学习 CSS 选择器，并选择像 Python 这样的语言，因为它拥有强大的库，例如 Beautiful Soup 和 Selenium。这些工具对于有效的数据解析和浏览器自动化至关重要。
4. 请求头和 Cookie 自动化： 手动提取请求头和 Cookie 可能很繁琐，因此自动化这一流程很有帮助。使用浏览器自动化加载必要页面、捕获请求头和 Cookie，并将其应用到你的抓取任务中。这样可以确保你始终使用最新设置。
结论 – 你真正需要了解的内容
总而言之，优化数据收集流程需要结合多种因素：选择正确的方法、利用有效的代理策略，并采用高级技巧来最大化效率和成本节省。通过了解内部、混合式和 DaaS 方法的优缺点，你可以选择最适合自身需求的方式。此外，使用数据中心 IP 的成本节省技巧、阻止不必要请求，以及定制服务计划，都是实现大幅节省的重要步骤。
我希望本次网络研讨会中分享的见解，以及对大家问题的回答，能为你的数据收集工作提供有价值的指导。实施这些策略可以帮助你简化流程、降低成本，并最终提升数据收集项目的成功率。