在本指南中，您将学习：
- 数据来源的定义
- 涉及数据来源过程中的数据类型
- 不同类型的数据源
- 常见的数据来源示例
- 获取和使用数据的主要关注点
让我们开始吧！
什么是数据来源？
数据来源是为特定目的识别和收集来自各种来源的数据的过程。这通常是数据管道的第一步，随后对收集的数据进行处理以实现特定目标。在此过程中，确保数据与任务相关、准确且足够完成任务至关重要。
企业在广泛的活动中依赖数据来源，包括决策、市场研究和报告。正如您将要了解的，数据源可能有很大差异，涉及结构化和非结构化数据。想了解更多，请参阅我们的结构化数据与非结构化数据指南。
数据来源中的数据类型
在获取数据时，可以区分两种类型的数据：
- 原始数据：为特定目标或项目而首次收集的信息。它高度定制于特定的研究目标，以确保最大的准确性。收集原始数据的方法包括调查、访谈和问卷。
- 二手数据：已被他方收集的信息。例子包括公开报告、研究论文、学术论文以及来自在线数据库和网站的数据。这些信息可以免费获取或付费获取，并用于新的分析或研究。
总之，原始数据是为满足特定需求而直接收集的原始数据。相反，二手数据是预先存在的，被重新用于新的研究目标。
数据源的类型
虽然有无数种获取数据的方法，但数据源可以大致分为两大类：
- 内部来源
- 外部来源
本质上，数据可以来自公司或项目的内部（内部来源）或外部（外部来源）。这是您在数据来源中可以应用的最直观的高级别区分。
现在让我们深入了解这两种类型的数据源！
内部来源
内部来源是指在组织内部生成和存储的数据。这包括来自公司记录、客户关系管理（CRM）软件、员工反馈、客户数据库、销售报告等的数据。
当为特定目的专门收集时，内部来源可以提供原始数据，例如通过内部调查。当这些数据被重新用于新的目标时——例如用于决策过程——它也可以作为二手数据。
外部来源
外部来源涉及来自组织外部的数据。通常来自公共记录、第三方提供商的数据和其他外部数据集。欲了解更多信息，请阅读我们的数据集权威指南。
当为独特需求而收集时，外部来源可以提供原始数据，例如委托客户调查。它们也可以生成二手数据，例如从社交媒体收集客户反馈并将其用于营销目的。
如何定义有效的数据来源策略
定义有效的数据来源策略是确保您为目标收集正确信息的关键。为了有效，数据来源的过程必须针对您的特定需求和限制量身定制。
特别是，提出以下问题以制定一个稳健的数据来源策略：
- 数据收集的目的是什么？
- 需要哪些类型的数据？
- 数据将来自哪里？
- 提取这些数据需要多少时间和金钱？
- 将如何收集数据？
- 数据质量要求是什么？
- 需要考虑哪些法律和隐私因素？
- 数据将如何整合和利用？
- 需要哪些资源（如技术和工具）？
- 您将如何衡量成功？
解决上述问题将帮助您创建一个独特的数据方法论，与您的目标保持一致。
数据来源方法
分析当今数字信息时代中最知名和实用的数据来源示例。
开放数据
开放数据是指由政府、组织和机构提供的可自由访问的数据集。通常，这是获取数据的良好起点。
开放数据集通常向公众开放，以促进透明度、创新和研究。例子包括经济指标、环境数据和健康统计数据。开放数据对于各种应用具有价值，尤其是在学术研究中。开放数据的主要好处是可以无限制地使用。
API（应用程序编程接口）
API，即应用程序编程接口的缩写，允许在线系统通过交换数据进行通信。许多公司和提供商提供免费的或付费的API，开发人员可以使用它们以结构化格式访问其数据。例如，社交媒体平台通常提供API以检索公共用户资料信息、帖子和互动。
API是以编程方式获取和集成数据到您的应用程序和服务中的有效方式。查看我们的网络爬虫与API指南。
网络爬虫
网络爬虫是使用浏览器自动化工具或HTML解析器从网页提取数据的过程。这种数据提取方法是获取无法通过API或公共数据库获取的数据的强大方式。其理念是连接到一个网站，浏览其页面，并直接从HTML文档中获取感兴趣的数据。
有关更多指导，请参阅我们的网络爬虫入门文章。
委托数据
委托数据涉及聘请第三方公司为您收集特定数据。数据提供商设计有效的数据检索方法，确保最终结果符合您的期望。
在支付此类服务后，提供商将处理数据收集的所有方面，包括合规性和隐私考虑。此方法确保数据是定制的并与您的独特需求相关。
需要一些数据吗？获取定制数据集！
定制调查
定制调查涉及向参与者提出特定问题，以明确的目标收集数据。此方法使公司能够针对特定受众，以满足特定的研究目标。
调查是收集第一手信息的宝贵方式。它们可以针对员工进行内部数据收集，或针对客户和用户进行外部数据收集。调查可以通过各种渠道进行，包括在线表格、电话访谈或面对面互动。
购买的数据集
数据集是您可以从数据供应商和提供商处购买的预先收集的数据集合。它们涵盖广泛的主题，可以包括历史数据和新数据。
购买数据集是获取可直接使用的信息的直接方式，而无需自己花时间和费用来收集。此方法对于获取大量信息或通过其他方式难以获取的数据特别有用。
获取数据时面临的挑战
获取数据并非易事，涉及需要解决的几个问题。让我们一一探讨！
质量问题
获取或收集数据还不够，您还必须确保其质量。数据质量的一个关键组成部分是检测和处理异常值。这些是显著偏离常规的数据点。如果处理不当，异常值会扭曲分析，导致不准确的结论。
另一个挑战是检查缺失或不完整的数据，这可能会损害您的数据集的完整性。不完整的数据会导致结果偏差，影响决策。为了避免这些问题，您必须在使用前实施数据清理和验证的过程。
法律问题
所有公司都明白，不当的数据获取可能会导致法律后果。例如，关于网络爬虫的一个常见误解是它是非法的。事实上，这并不正确！
只要您针对的是公共数据，遵守网站的使用条款，并在网络爬虫时尊重robots.txt，您就应该没问题。此外，当从外部来源或提供商获取数据时，确保数据是合法且合乎道德地收集的。
隐私和合规问题
数据使用必须符合多项法规和法律。最常见的两个隐私法规是欧盟的GDPR（通用数据保护条例）和美国的CCPA（加利福尼亚州消费者隐私法案）。
违反这些数据法规可能会导致巨额罚款和法律诉讼。为避免这种情况，您需要遵守有关数据收集、存储和共享的法律要求。这涉及确保数据使用是合法且透明的。
结论
在本指南中，您了解了什么是数据来源、涉及哪些类型的数据源、如何执行以及它带来的挑战。具体来说，您发现了获取数据的两种主要方法：
- 连接API或通过网络爬虫提取数据
- 购买预制或定制的数据集
无论您选择哪种方式，Bright Data都能满足您的需求！
Bright Data运营着一个大型、快速且可靠的代理网络，被财富500强公司和超过20,000名客户使用。这为不同的爬虫工具提供了基础：
- 网络抓取API：用于以编程方式访问数十个热门域名的结构化网络数据。
- 抓取浏览器：通过Puppeteer、Selenium或Playwright脚本在完全托管的浏览器上进行浏览器自动化，配备验证码自动解决和无限可扩展性。
- 免服务器功能：提供一个完整的运行时环境，用于爬取、解锁和扩展网络数据收集。
- 网络解锁器：用于大规模访问任何公共网站，通过灵活的爬虫API避开反机器人系统。
如果网络爬虫不适合您，请查看我们庞大的数据集市场。Bright Data利用其专业知识从网络中合乎道德地获取数据，并以现成的数据集形式提供。如果这些预制选项不满足您的需求，请查看我们的定制数据收集服务。
立即注册，看看哪种Bright Data产品最适合您的需求。立即开始您的免费试用！
