基础模型

简而言之：基础模型是一种基于广泛数据训练的大型 AI 模型，可适配多种任务。大型语言模型是最广为人知的例子。

基础模型是一种基于海量、广泛数据训练的大型模型。它学习的是通用能力，而不是单一的狭窄任务。随后，开发者会将其适配到具体用途。一个模型可以支持聊天、搜索、编码和分析。大型语言模型是最著名的基础模型。该术语由斯坦福研究人员于 2021 年提出。

关键特征

1. 规模：基于包含数十亿参数的海量数据集进行训练。
2. 通用性：一个模型可处理许多下游任务。
3. 适应性：通过微调或提示使其专门化。
4. 涌现：随着规模增长，会出现新的能力。
5. 可迁移性：知识可通过迁移学习跨领域迁移。

基础模型是如何构建的

1. 预训练：在大规模无标签训练数据上进行自监督学习。
2. 微调：使用较小规模的标注数据适配到某项任务。请参阅微调。
3. 对齐：RLHF 会引导模型产生安全、有帮助的行为。
4. 部署：通过 API 或在设备端提供模型服务。

基础模型的类型

1. 语言：GPT、Claude 和 Llama 等文本模型。
2. 视觉：用于计算机视觉任务的图像模型。
3. 多模态：结合文本、图像和音频的模型。请参阅多模态 AI。
4. 生成式：创建新内容的模型。请参阅生成式 AI。

基础模型及其局限

基础模型功能强大，但并不完美。它们的知识会停留在训练截止时间点。它们可能会生成看似自信但实际错误的 AI 幻觉。将它们锚定在当前数据中至关重要。检索增强生成是标准解决方案。请参阅RAG 详解。

为什么数据定义基础模型

基础模型的表现取决于其数据质量。广泛、新鲜、高质量的数据决定了性能上限。Bright Data 的数据集可为预训练和微调提供 Web 级规模的训练数据。搜索引擎 API 和网络解锁器可将模型锚定在实时 Web 数据中。而 Web MCP 服务器则为 AI 代理提供对公共 Web 的实时访问能力。