锐客网

  1. 首页 > it技术 > >

NLP实践项目二（基于RNN、CNN的文本多分类（pytorch实现））

自然语言处理

直接看代码：github传送门
数据集：Classify the sentiment of sentences from the Rotten Tomatoes dataset
1. 数据预处理 本项目实现了两种数据预处理方式，一种是使用pytorch提供的dataset和dataloader实现数据预处理，一种是直接使用torchtext（强烈推荐上手试试）。两种方法的实现过程大体都是一致的，分词、数值化（word --> id）、填充、封装。最后一步是为了在训练过程中直接从迭代器中取出可输入到网络中的数据格式。
2. 模型定义 RNN模型（Vanilla RNN和LSTM） 使用序列模型做文本分类的过程都一样，先通过embedding层得到单词的词向量，然后将其输入到RNN中，通常是将最后一个单词对应的输出作为句子的特征向量，通过全连接层+softmax得到预测为各个标签的概率，最后使用交叉熵函数计算loss，然后更新参数。这里提一个我困惑的点，一般在介绍RNN时使用下面的图：
NLP实践项目二（基于RNN、CNN的文本多分类（pytorch实现））
文章图片

如果pytorch中是按上图的方式实现了RNN，那么不禁会问，为什么参数里没让我指定每一个timestep的输出 y ^ < t > \hat y^{} y^?的维度？要是 y ^ < t > \hat y^{} y^?和第t个timestep的隐状态矩阵 a t a_t at?是一样的，那是不是直接使用最后一个隐状态矩阵作为单词的向量表示也行？答案是：在某些情况下，确实是这样的。详细解释见这篇文章。
CNN模型：模型结构图如下（图来自论文）： NLP实践项目二（基于RNN、CNN的文本多分类（pytorch实现））
文章图片

CNN和RNN的区别只在于句子进行特征提取的部分，如上图，在得到单词的词向量表示后，得到一个NxK的句子，可使用不同大小的二维卷积核（比如2xK，3xK等，这里也可使用一维卷积），单个卷积核对应的输出为一列，对一列进行max pooling就得到该卷积核对应的特征，最后将多个不同大小的卷积核对应的输出拼接到一起即可得到句子对应的向量表示。
3. 模型训练 【NLP实践项目二（基于RNN、CNN的文本多分类（pytorch实现））】github上的代码适合在本地进行过拟合测试，gpu版见链接。

    推荐阅读


    上一篇：Anaconda|Anaconda & spyder中的安装第三方库jieba

    下一篇：PAT|1060 爱丁顿数 （25 分）