特征工程

一句话总结： 特征工程将原始数据转换为有意义的输入，使机器学习模型学习得更快、更准确。

特征工程是创建机器学习模型用于学习的输入变量——特征——的过程。特征是数据中任何可度量的属性。好的特征会编码领域知识，体现对预测任务真正重要的因素；无关特征会引入噪声并降低模型表现。在 深度学习将其中很多工作自动化之前，特征工程一直是 ML 领域的核心技能。

核心技术

1. 归一化与缩放：将数值重新缩放到统一范围（0–1 或 z-score），防止幅度较大的特征占据主导。
2. 类别特征编码：使用 one-hot、label 或 target encoding 将类别转换为数值。
3. 对数变换：对偏态分布（如收入、人口）取 log，使模式更接近线性，便于模型学习。
4. 日期/时间特征：从时间戳列提取星期几、小时或“距离事件发生的时间”等特征。
5. 交互特征：将两个特征相乘或组合，以捕捉模型在单独看待时可能遗漏的联合效应。
6. 文本特征：将文本转换为 TF-IDF 向量、词频统计或 embeddings，用于 NLP 任务。

特征选择

并非所有特征都能提升模型表现。特征过多会导致“维度灾难”。常见选择方法包括：相关性分析、互信息与递归特征消除。Random Forest 等树模型可输出内置的特征重要性评分。正则化方法（L1/Lasso）可自动将弱特征的系数压到 0。

特征工程 vs. 深度学习

传统机器学习（如逻辑回归、梯度提升）依赖人工构造特征；深度学习则能从原始数据中自动学习表征。CNN 可以在无需人工特征工程的情况下学习图像特征；Transformer 能从大规模语料端到端学习文本特征。对于表格数据与特定领域数据，特征工程仍然至关重要，因为在这些场景下神经网络并不具备天然优势。

数据质量与特征质量

特征的质量取决于底层数据的质量。Ground truth 标签必须保持一致，特征才能在不同数据划分中泛化。缺失值、离群点与 schema 漂移会随着时间推移削弱特征效果。Bright Data 的 数据集提供干净、结构化的训练数据，无需额外承担原始数据清洗成本，即可直接进行特征提取。