情感分析准确性的四大误区 _数据科学

本文概述

什么是情感分析？
情绪分析挑战之一：嘲讽检测
情感分析挑战之二：否定检测
情感分析挑战之三：词义不清
情绪分析挑战之四：多极性
提高情感分析的准确性：这些不是极端情况

人们正在使用论坛, 社交网络, 博客和其他平台来分享他们的观点, 从而生成大量数据。同时, 用户或消费者想知道要购买哪种产品或要观看哪部电影, 因此他们还阅读评论并尝试做出相应的决定。
手动收集有关用户生成的数据的信息非常耗时。因此, 越来越多的公司和组织对自动情感分析方法感兴趣, 以帮助他们理解它。
什么是情感分析？情感分析是通常使用语言线索来研究人们的观点和情感的过程。乍一看, 这只是一个文本分类问题, 但是如果我们深入研究, 就会发现存在许多具有挑战性的问题, 这些问题严重影响了情感分析的准确性。下面, 我将探讨你在处理一般情感分析问题时面临的一些陷阱：

讽刺和讽刺
否定的类型
词含糊
多极性

我们将研究每个主题, 并尝试了解所描述的问题如何影响情绪分类器的质量以及可以使用哪些技术来解决这些问题。
情绪分析挑战之一：嘲讽检测在讽刺的文字中, 人们用正面的话语表达他们的负面情绪。这个事实使讽刺很容易欺骗情绪分析模型, 除非它们经过专门设计以考虑到这种可能性。
嘲讽最常出现在用户生成的内容中, 例如Facebook的评论, 推文等。在对情境, 特定主题和环境的上下文没有很好的理解的情况下, 很难进行情感分析中的嘲讽检测。
不仅对于机器而且对于人类而言, 都可能难以理解。讽刺句中使用的单词不断变化, 很难成功地训练情感分析模型。必须在两个人之间共享共同的主题, 兴趣和历史信息, 以使嘲讽变得可用。
首先, 让我们从语言学的角度来看讽刺, 讽刺在这方面得到了广泛的研究。在该领域最常被引用的一项研究中, 作者伊丽莎白·坎普提出以下四种嘲讽：

命题：讽刺似乎是一个没有感情的命题, 但涉及到内隐的情感。
内含：讽刺具有内在的情感不一致性, 形式本身就是单词和短语。
前缀类似的词：” 类似” 词句暗含否认所提出的论点。
言语：造成嘲讽的非言语行为(肢体语言, 手势)。

文章图片
坎普(Camp)的研究发表于2012年。2017年, 斯坦福大学的研究人员宣布了他们自己非常有趣的研究” 花2个小时写一篇论文很有趣！” ：在数字数字部分检测讽刺, 他们谈论了另一种叫数字的讽刺。讽刺。在社会网络中, 数字讽刺非常频繁。其背后的想法与数值变化有关, 然后影响文本极性。例如：

“ 这款手机的备用电池很棒, 可以备份38小时。” (非讽刺的)
“ 这款手机的备用电池可提供2个小时的出色备份。” (讽刺)

“ 外面+25, 我好热。” (非讽刺的)
“ 外面是-25, 我好热。” (讽刺)

“ 我们开得很慢, 只有20公里/小时。” (非讽刺的)
“ 我们开得很慢, 只有160公里/小时。” (讽刺)

如我们所见, 这些句子的区别仅在于所使用的数字, 因此具有数字讽刺意味。
自动的嘲讽检测方法有多种, 包括：

基于规则
统计
机器学习算法
深度学习

基于深度学习的方法越来越受欢迎。 Kumar, Somani和Bhattacharyya在2017年得出结论, 特定的深度学习模型(CNN-LSTM-FF架构)优于以前的方法, 达到了最高的数字讽刺检测准确性。
但是, 深层神经网络(DNN)不仅是数值嘲讽的最佳选择, 而且总体上也胜过其他嘲讽检测器方法。 Ghosh和Veale在其2016年的论文中使用了卷积神经网络, 长短期记忆(LSTM)网络和DNN的组合。他们将其方法与递归支持向量机(SVM)进行了比较, 并得出结论, 他们的深度学习体系结构是对此类方法的改进。
情感分析挑战之二：否定检测在语言学中, 否定是一种逆转单词, 短语甚至句子的极性的方法。研究人员使用不同的语言规则来确定否定词是否发生, 但是确定受否定词影响的词的范围也很重要。
受影响字词的范围没有固定的大小。例如, 在” 表演没意思” 一句中, 范围仅是否定词之后的下一个词。但是对于诸如” 我不称这部电影为喜剧电影” 之类的句子, 否定词” not” 的作用一直持续到句子结尾。如果一个正词或负词落入否定范围之内, 则该词的原始含义会发生变化, 在这种情况下, 将返回相反的极性。
在大多数最新的情感分析技术中, 最简单的处理否定词的方法是将所有从否定提示到下一个标点符号的词标记为否定。否定模型的有效性可以更改, 因为在不同上下文中语言的特定构造。
表达否定意见的方式有几种：

否定可以是形态的, 它可以用前缀(” dis-“ , ” non-“ )或后缀(” -less” )表示。
否定性可以是隐性的, 例如在” 通过这一行为, 这将是他的第一部也是最后一部电影” 中, 它带有负面情绪, 但没有使用负面词。
否定可以是明确的, 例如” 这不好” 。

具有具有不同类型的所描述否定词的样本将提高用于训练和测试否定词内情感分类模型的数据集的质量。根据对递归神经网络(RNN)的最新研究, 在检测句子中否定类型方面, LSTM模型的各种体系结构优于所有其他方法。
在论文《情感分析中的否定效应》中, 一种情感分析模型评估了从Amazon和Trustedreviews.com收集的500条评论。作者展示了带有否定检测的模型的比较。他们的评估表明考虑否定可以如何显着提高模型的准确性。
情感分析挑战之三：词义不清词义不清是你应对情感分析问题时面临的另一个陷阱。单词歧义的问题是无法预先定义极性, 因为某些单词的极性很大程度上取决于句子的上下文。
基于词典的情感分析方法在现有方法中很流行。意见词典包含意见词及其极性值。互联网上有一些舆论词典：SentiWordNet, General Inquirer和SenticNet等。由于单词极性在不同的域中变化, 因此不可能开发出每个单词都具有极性的通用意见词典。例如：

“ 这个故事是不可预测的。”
“ 方向盘变幻莫测。”

这两个例子说明了语境如何影响见解词的情感。在第一个示例中, 单词极性” 不可预测” 被预测为正。第二, 同一单词的极性为负。
情绪分析挑战之四：多极性 【情感分析准确性的四大误区】有时, 给定的句子或文档-或我们要分析的任何文本单元-都会表现出多极性。在这些情况下, 仅具有分析的总结果可能会产生误导, 非常类似于平均值有时可以隐藏有关所有已输入数值的有价值信息。
当作者在一篇文章或评论中谈论不同的人, 产品或公司(或它们的各个方面)时, 请绘制图片。通常, 在一段文字中, 一些主题会受到批评, 有些会受到赞扬。
在这里, 总的情感极性将丢失关键信息。这就是为什么有必要提取带有指定情感标签的句子中的所有实体或方面, 并仅在需要时才计算总极性。
让我们考虑一个包含多个极性的示例：” 我的新笔记本电脑的音频质量很酷, 但是显示颜色却不太好。”
一些情感分析模型会为这句话分配一个消极的或中立的极性。为了应对这种情况, 情感分析模型必须为句子中的每个方面分配一个极性。在此, “ 音频” 是分配有正极性的方面, “ 显示” 是具有负极性的单独方面。
对于这种方法的更深入的描述, 我推荐斯坦福大学的Bo Wanf和Min Liu撰写的有趣且有用的论文《基于方面的情感分析的深度学习》。
提高情感分析的准确性：这些不是极端情况在本文中, 我们讨论了情感分析分类的常见问题：讽刺, 否定, 单词歧义和多极性。了解这些内容将有助于你避免可能的问题：考虑到我们讨论的情况, 将大大提高分类模型中情感分析的准确性。希望本文对你的主题有所帮助。