循环神经网络（RNN）

简而言之：循环神经网络（RNN）是一种用于序列数据的神经网络。它会保留先前输入的记忆，以理解上下文和顺序。

循环神经网络（RNN）会一次处理一个步骤的数据。它会维护一个隐藏状态，也就是对之前内容的记忆。这使它能够对序列中的顺序和上下文进行建模。RNN 可处理文本、语音和时间序列数据。在 Transformer 出现之前，它们曾是自然语言处理的标准方法。RNN 是一种带有反馈循环的神经网络。

RNN 的工作原理

1. 序列处理：网络一次读取序列中的一个元素。
2. 隐藏状态：记忆向量会将信息传递到下一步。
3. 共享权重：相同参数会应用于每一个时间步。
4. 通过时间反向传播：训练会展开序列，并在整个序列中更新权重。

RNN 变体

1. LSTM（长短期记忆）：门控机制控制保留或遗忘哪些信息。这能更好地处理长序列。
2. GRU（门控循环单元）：一种比 LSTM 更轻量、更快速的替代方案。
3. 双向 RNN：从正向和反向读取序列，以获得更丰富的上下文。

梯度消失问题

基础 RNN 难以学习长距离依赖关系。梯度在经过许多步骤向后传播时会逐渐缩小。早期输入会停止影响输出。LSTM 和 GRU 的门控机制正是为解决这一问题而发明的。它们可以让有用信号在长序列中持续保留。

RNN 的用途

1. 语言建模：预测下一个词以生成文本。这是生成式 AI的一个构建模块。
2. 机器翻译：将句子从一种语言映射到另一种语言。
3. 语音识别：将音频序列转换为文本。
4. 时间序列预测：预测需求、价格或传感器读数。
5. 情感分析：对文本序列的语气进行分类。请参阅情感分析。

RNN vs CNN vs Transformer

RNN 会按序列处理数据并保留记忆。CNN 会并行处理图像等空间数据。Transformer 已经在大多数 NLP 任务中取代了 RNN。它们使用注意力机制一次读取整个序列。这使其训练速度更快，并且更擅长处理长上下文。现代大型语言模型是 Transformer，而不是 RNN。

使用合适的数据训练 RNN

RNN 需要大规模、结构良好的序列数据集。文本语料库和干净的时间序列会推动其准确率提升。高质量的训练数据比模型规模更重要。Bright Data 的网页抓取工具可收集真实世界的文本和时间序列数据。其数据集可大规模交付结构化、可直接用于模型的序列数据。