数据仓库

简而言之：数据仓库是一个集中存储结构化历史数据的系统。它会聚合来自多个来源的数据，并针对快速分析查询进行优化，而不是用于事务处理。

数据仓库（DWH）是用于收集、存储和分析大量结构化数据的系统。它整合来自运营数据库、外部 API 和平面文件的数据。数据会在称为 ETL 的流程中进行清洗、转换和加载，即提取、转换、加载。加载完成后，分析师会查询数据仓库，以识别趋势、生成报告并做出决策。

数据仓库 vs 运营数据库

1. 用途：数据库服务于实时应用程序。数据仓库服务于分析和报告。
2. 查询类型：数据库针对单条记录的快速读写进行优化。数据仓库针对跨数十亿行的聚合进行优化。
3. 数据时效：数据库存储当前状态。数据仓库会长期保留历史数据。
4. 架构：数据库使用规范化架构。数据仓库通常使用反规范化的星型或雪花型架构。
5. 更新频率：数据库实时更新。数据仓库按批次加载，例如每小时、每天或每周。

关键组件

1. 数据来源：CRM、电商平台、网页抓取管道和第三方 API。
2. ETL/ELT 管道：从来源提取数据，将其转换为一致的架构，然后加载。
3. 存储层：针对分析读取优化的列式存储（Redshift、BigQuery、Snowflake）。
4. 查询引擎：兼容 SQL 的引擎，可高效扫描数十亿行数据。
5. BI 层：Tableau 或 Looker 等工具会查询数据仓库来构建仪表板。

数据仓库中的 Web 数据

外部 Web 数据可以补充内部数据库本身无法提供的信息。竞争对手定价、产品可用性和评论情绪都来自公共 Web。通过 Bright Data 市场收集的结构化数据集会以 JSON 或 CSV 格式交付，可直接加载到数据仓库表中。这会用真实世界的市场信号补充内部数据，从而实现更丰富的分析。

常见数据仓库

1. Snowflake：云原生架构，将计算与存储分离，便于灵活扩展。
2. Google BigQuery：基于 Google 基础设施的无服务器分析服务。
3. Amazon Redshift：AWS 的列式数据仓库，并与 S3 深度集成。
4. Azure Synapse：Microsoft 的集成式分析服务。
5. Databricks：湖仓一体架构，结合了数据仓库和数据湖能力。