大语言模型

一句话总结： 大语言模型（LLM）是在数十亿词语文本上训练的神经网络。它可以生成、翻译并分析语言。GPT-4、Claude 和 Gemini 都是例子。

大语言模型（LLM）是一种在海量文本语料上训练的神经网络。它通过学习预测序列中的下一个 token 来训练。借助这一目标，模型逐步形成对语言、事实与推理能力的广泛理解。LLM 是现代 AI 助手、编程工具与搜索系统背后的核心技术。所有主流 LLM 都基于 Transformer 架构，该架构最早来自 2017 年论文《Attention Is All You Need》。

LLM 如何训练

1. 预训练：模型在数千亿级文本 token 上学习预测下一个 token，从而建立通用的语言理解能力。
2. 微调：在精心整理的、特定任务数据上继续训练，以提升在特定领域或格式上的准确性。
3. RLHF：基于人类反馈的强化学习，使模型在“有用性”和“安全性”等方面更符合人类偏好。

知名 LLM

1. GPT-4：OpenAI 的多模态模型，为 ChatGPT 提供能力支持。
2. Claude：Anthropic 的模型，强调安全性与长上下文任务能力。
3. Gemini：Google 的多模态 LLM，集成于多种 Google 产品中。
4. LLaMA：Meta 的开源权重模型，广泛用于研究与微调。
5. DeepSeek R1：拥有 6710 亿参数的开源权重模型，以低成本提供有竞争力的性能。

LLM 的应用

1. 对话式 AI：由 LLM 驱动的聊天机器人与虚拟助手。
2. 代码生成：如 GitHub Copilot 等工具可生成并解释代码。
3. 摘要：将长文档压缩为简洁摘要。
4. 数据抽取：解析非结构化文本并输出结构化数据。
5. 搜索：AI 驱动的搜索使用 LLM 理解查询意图。

LLM 训练数据与网络

LLM 需要数万亿 token 的训练文本，网络是主要来源。数据质量会直接决定模型质量：低质量、有偏见或有毒内容会降低性能。网络上的 LLM 生成文本还可能在未来训练中产生反馈回路。面向垂直领域的 LLM 需要领域专用文本——例如法律、科研或金融。Bright Data 的 数据集提供结构化且高质量的网页数据，用于构建与微调 LLM。另请参见：training data、synthetic data。