锐客网

  1. 首页 > 睿知 > >

lstm rnn 情感分析,基于lstm的情感分析毕业设计

经验分享睿知

解读《长短期内存动态计算删除作业指导书》...这是我以前看过的一篇有趣的文章 。rnnlstm特征提取的能力如何？语言模型主要分为规则模型和统计模型，对lstm和gru结构的再认识我觉得大部分介绍rnn的文章都只是画了一个细胞的图，但是这样会对一个初学者造成很大的误解 ， 正确的介绍方法应该是先介绍rnn的整体结构再介绍细胞的结构 。

1、几种常见的循环神经网络结构RNN、LSTM、GRU TFIDF矢量一般在传统的文本处理任务中作为特征输入 。显然，这样的表示实际上失去了输入文本序列中每个单词的顺序 。在神经网络建模过程中，一般的前馈神经网络，如卷积神经网络，通常接受一个固定长度的向量作为输入 。卷积神经网络在对文本数据建模时，输入变长的字符串或词串 ， 然后通过滑动窗口和池化将原始输入转化为定长的向量表示，可以捕捉到原始文本中的一些局部特征，但仍然很难学习到两个词之间的长距离依赖关系 。

它模拟阅读一篇文章的顺序 ， 从前向后阅读文章中的每一个单词，将前面读到的有用信息编码到状态变量中，使其具有一定的记忆能力，能够更好地理解后面的文字 。它的网络结构如下图所示:从图中可以看出，T是时间，X是输入层 ， S是隐含层 ， O是输出层，矩阵W是隐含层的最后一个值作为这个输入的权重 。

2、 lstm和gru结构的再理解我觉得大部分介绍rnn的文章都只是画了一个细胞的图 ， 但是这样会给一个初学者造成很大的误解，正确的介绍方法应该是先介绍rnn的整体结构，再介绍细胞的结构 。这样才能对rnn有更清晰的认识 。我们经常在网上看到这样的图片 。什么是细胞？我们首先回到MLP结构中RNN的细胞，它实际上是MLP结构中隐藏层中的神经元 。

因此 ， RNN正确的模型结构图应该是这样的:水平方向是不同的时间序列，垂直方向是不同的层 。这样会更好理解吗？然而，LSTM和GRU只是细胞的变体形式，而RNN的结构作为一个整体是不变的 。双向RNN的整体结构没有改变，但细胞的形式发生了变化 。好了 ， 回到我们经常看到的画面 。这张图是lstm的整体结构 。我们知道lstm中最重要的概念是“门结构”，分为遗忘门、输入门和输出门 。

3、论文解读-LongShort-TermMemoryasaDynamicallyComputedElement-wi...这是我以前看过的一篇有趣的文章 。论文是2018年关于ACL的一篇短文 。Paper 分析说明了LSTM的哪些部件更重要 。发现LSTM中的加法循环运算可以看作是一种类似于注意的加权运算，是LSTM中最重要的部分 。作者通过解耦LSTM的闸门控制单元验证了这一点 。普通的RNN是下面的公式(1)，这里我们将其缩写为SRNN (Simplernn): LSTM为了解决其梯度消失问题和无法学习长期依赖的问题 。

LSTM可以看作是给普通的RNN增加了三个门:输入门、输出门和遗忘门 。这里可以理解为普通的RNN，分别是输入、遗忘和输出门 。记忆单元根据I控制记忆多少当前信息ct~和遗忘多少过去信息，获得的信息是长期的(相对于普通RNN) 。如果将公式(5)展开，则有下面的公式 。可以看出，存储单元可以被认为是普通RNN和在前T时刻门控的逐元素乘积的结果的总和 。

4、 rnn/ lstm具备怎样的特征提取能力 language模型主要分为两种:常规模型和统计模型 。统计语言模型以概率统计的方式揭示语言单位的内在统计规律 ， 其中NGram简单有效 ， 应用广泛 。NGram:该模型基于这样的假设 ， 即第n个单词的出现只与前几个N1单词有关，而与其他任何单词无关，整个句子的概率是每个单词出现概率的乘积 。这些概率可以通过直接从语料库中计数n个单词同时出现的次数来获得 。
【lstm rnn 情感分析,基于lstm的情感分析毕业设计】语言模型的性能通常用交叉熵和困惑度来衡量 。交叉熵的意义在于用这种模型进行文本识别的难度 ， 或者从压缩的角度来说，每个单词平均需要用几个比特进行编码，复杂度的含义就是用这个模型来表示这个文本的平均分支数 ， 它的倒数可以看作是每个词的平均概率 。平滑是指给未被观察的n元组分配一个概率值 ， 以保证词序列总能通过语言模型得到一个概率值 。

    推荐阅读


    上一篇：harr-like级联分析器

    下一篇：app应用用户来源分析,分析讨论APP的其他应用