4-循环神经网络
这是本系列的第 4 讲。虽然标题是“循环神经网络”,但这份资料实际上是从自然语言处理基础一路讲到词向量和序列模型,因此它同时承担了两个任务:先把文本任务的基本形态讲清楚,再解释为什么需要 RNN、LSTM、GRU 和注意力机制来处理序列数据。
这讲主要讲什么
这一讲比单纯讲模型更完整,因为它先铺了任务背景,再进入模型设计。
- 语言处理技术:介绍自然语言处理的基本概念,以及词级、句章级分析和典型应用场景。
- 词向量学习:从离散词表示过渡到连续向量表示,并涉及层级 softmax、负采样和句向量等内容。
- 循环神经网络:讲解 RNN、LSTM、GRU 以及注意力机制,帮助理解 序列建模的核心思路。
- 应用与实践:把模型放回真实任务里,包括文本分类和电影评论情感分析。
适合怎么学
- 如果你之前主要接触图像模型,这一讲最值得建立的是“序列”和“上下文”意识,也就是模型为什么要保留历史信息。
- 学词向量时,不要只把它当成一个技巧,它本质上是在解决文本输入无法直接数值化的问题,是后续模型能工作的前提之一。
- 看 RNN、LSTM、GRU 时,重点比较它们处理长期依赖和信息传递的方式,再结合情感分析任务理解为什么这些结构有用。