NLP实践项目二（基于RNN、CNN的文本多分类（pytorch实现））自然语言处理

直接看代码：github传送门
数据集：Classify the sentiment of sentences from the Rotten Tomatoes dataset
1. 数据预处理本项目实现了两种数据预处理方式，一种是使用pytorch提供的dataset和dataloader实现数据预处理，一种是直接使用torchtext（强烈推荐上手试试）。两种方法的实现过程大体都是一致的，分词、数值化（word --> id）、填充、封装。最后一步是为了在训练过程中直接从迭代器中取出可输入到网络中的数据格式。
2. 模型定义 RNN模型（Vanilla RNN和LSTM）使用序列模型做文本分类的过程都一样，先通过embedding层得到单词的词向量，然后将其输入到RNN中，通常是将最后一个单词对应的输出作为句子的特征向量，通过全连接层+softmax得到预测为各个标签的概率，最后使用交叉熵函数计算loss，然后更新参数。这里提一个我困惑的点，一般在介绍RNN时使用下面的图：

文章图片

如果pytorch中是按上图的方式实现了RNN，那么不禁会问，为什么参数里没让我指定每一个timestep的输出 y ^ < t > \hat y^{} y^?的维度？要是 y ^ < t > \hat y^{} y^?和第t个timestep的隐状态矩阵 a t a_t at?是一样的，那是不是直接使用最后一个隐状态矩阵作为单词的向量表示也行？答案是：在某些情况下，确实是这样的。详细解释见这篇文章。
CNN模型：模型结构图如下（图来自论文）： NLP实践项目二（基于RNN、CNN的文本多分类（pytorch实现））
文章图片

CNN和RNN的区别只在于句子进行特征提取的部分，如上图，在得到单词的词向量表示后，得到一个NxK的句子，可使用不同大小的二维卷积核（比如2xK，3xK等，这里也可使用一维卷积），单个卷积核对应的输出为一列，对一列进行max pooling就得到该卷积核对应的特征，最后将多个不同大小的卷积核对应的输出拼接到一起即可得到句子对应的向量表示。
3. 模型训练 【NLP实践项目二（基于RNN、CNN的文本多分类（pytorch实现））】github上的代码适合在本地进行过拟合测试，gpu版见链接。

NLP实践项目二（基于RNN、CNN的文本多分类（pytorch实现））

推荐阅读

抖音十大悲伤歌曲悲伤的英文歌

日晕后为何会下雨日晕一般持续多长时间

上海酒吧酒吧的消费情况

京东盖世折扣神券入口在哪京东盖世折扣神券领取地址

男性常熬夜有什么危害

海尔空调插电显示屏处理方法与故障原因说明

花骨朵怎么养活含骨花的养殖方法

mysql密码忘记了怎么找回 mysql的密码忘记

前夫唐未前夫的吻痕

mysql的客户端是什么 mysql数据库客户端有哪些软件

新手开茶叶店会亏本吗做茶叶生意怎么样

乌尔禾区景点

第一次刮胡子这些问题要特别注意！

redis 查看key值 redis查看某个key的值

明朝于谦为什么被杀，于谦是怎么死的？

如何正确拆卸戴尔服务器主板？戴尔服务器主板怎么拆

榴莲不能和什么一起吃榴莲硬邦邦的是坏果还是没成熟

牙痛快速止痛的方法

用了粉饼还要用散粉吗

暗恋一个人,要不要表白？