联邦学习

简而言之：联邦学习会在多个设备上训练一个共享模型，而无需移动这些设备上的数据。数据保留在本地；只共享模型更新。

联邦学习会基于去中心化数据训练模型。数据永远不会离开其来源。每台设备都会使用自己的数据在本地进行训练。只有模型更新会传输到中央服务器。服务器会将这些更新合并为一个共享模型。这可以保护隐私并减少数据传输。

联邦学习的工作原理

1. 分发模型：服务器将当前模型发送到每台设备。
2. 本地训练：每台设备使用自己的训练数据进行训练。
3. 发送更新：设备返回模型更新，而不是原始数据。
4. 聚合：服务器将更新取平均，生成新的全局模型。
5. 重复：该循环会持续进行，直到模型收敛。

为什么使用联邦学习

1. 隐私：敏感数据保留在设备上。
2. 合规：它有助于满足 GDPR 和 HIPAA 要求。
3. 带宽：模型更新远小于原始数据集。
4. 个性化：模型会适应每台设备的本地数据。

联邦学习的挑战

1. 非独立同分布数据：设备数据分布差异很大。
2. 通信成本：多轮更新会增加开销。
3. 安全性：如果没有保护措施，更新可能会泄露信息。
4. 设备差异：手机在性能和连接能力方面各不相同。

联邦训练 vs 集中式训练

集中式训练会将所有数据集中到一个位置。联邦学习则让数据分布保留在各个设备上。集中式训练更简单，通常也更准确。联邦学习在隐私和法规合规方面更具优势。它通常也会在边缘执行推理。

公共数据仍然驱动基础模型

联邦学习可以保护设备端的私有数据。但模型仍然需要广泛的公共数据进行预训练。强大的基础模型始于 Web 级规模的数据。Bright Data 的数据集、AI 数据包和网页抓取工具可大规模提供这些公共 Web 数据。