NLP实践项目二（基于RNN、CNN的文本多分类（pytorch实现））自然语言处理

直接看代码：github传送门
数据集：Classify the sentiment of sentences from the Rotten Tomatoes dataset
1. 数据预处理本项目实现了两种数据预处理方式，一种是使用pytorch提供的dataset和dataloader实现数据预处理，一种是直接使用torchtext（强烈推荐上手试试）。两种方法的实现过程大体都是一致的，分词、数值化（word --> id）、填充、封装。最后一步是为了在训练过程中直接从迭代器中取出可输入到网络中的数据格式。
2. 模型定义 RNN模型（Vanilla RNN和LSTM）使用序列模型做文本分类的过程都一样，先通过embedding层得到单词的词向量，然后将其输入到RNN中，通常是将最后一个单词对应的输出作为句子的特征向量，通过全连接层+softmax得到预测为各个标签的概率，最后使用交叉熵函数计算loss，然后更新参数。这里提一个我困惑的点，一般在介绍RNN时使用下面的图：

文章图片

如果pytorch中是按上图的方式实现了RNN，那么不禁会问，为什么参数里没让我指定每一个timestep的输出 y ^ < t > \hat y^{} y^?的维度？要是 y ^ < t > \hat y^{} y^?和第t个timestep的隐状态矩阵 a t a_t at?是一样的，那是不是直接使用最后一个隐状态矩阵作为单词的向量表示也行？答案是：在某些情况下，确实是这样的。详细解释见这篇文章。
CNN模型：模型结构图如下（图来自论文）： NLP实践项目二（基于RNN、CNN的文本多分类（pytorch实现））
文章图片

CNN和RNN的区别只在于句子进行特征提取的部分，如上图，在得到单词的词向量表示后，得到一个NxK的句子，可使用不同大小的二维卷积核（比如2xK，3xK等，这里也可使用一维卷积），单个卷积核对应的输出为一列，对一列进行max pooling就得到该卷积核对应的特征，最后将多个不同大小的卷积核对应的输出拼接到一起即可得到句子对应的向量表示。
3. 模型训练 【NLP实践项目二（基于RNN、CNN的文本多分类（pytorch实现））】github上的代码适合在本地进行过拟合测试，gpu版见链接。

NLP实践项目二（基于RNN、CNN的文本多分类（pytorch实现））

推荐阅读

蓦字五行属什么蓦字读音及解释

企业qq怎么登录邮箱企业QQ邮箱登录的方法教程

手工皂长出菌斑怎么回事手工皂出现白斑

如何结束mysql命令行，mysql怎么终止命令

中国邮政在线客服邮政客服电话人工服务，中国邮政快递法规

元气骑士iOS破解版全无限下载，求元气骑士iOS无限宝石破解版不要越狱的最好带教程

一篇文章带你入门Java数据结构

原神各个角色升级材料《原神》3.4瑶瑶升级材料介绍

染头发为什么会爆顶

电视机通电后无任何反应什么原因,各个方面来对比下

2019一级演员名单国家一级演员的全部名单

测量机油的正确方法测量机油的正确方法视频教程

宋智孝结婚了吗宋智孝男朋友

贵妃芒怎么样才是熟了

蕨菜什么时候采摘

为什么有人说“当年流氓真君子,今日君子真流氓”呢？

黄瓜菌核病如何防治效果好黄瓜病毒病怎样防治

初次使用初忆云服务器的感受如何？初忆云服务器怎么样

咖啡蛋糕的做法很需要啊

六神装是什么