文本挖掘第三周
一 概率主题模型
1.1 混合语言模型
如何摆脱背景词（数据中频率高）——常见词不应用分布解释
背景主题模型：生成常用词汇
文章图片
使用另个分布：需决定产生词时用哪一个分布
计算一个词概率：两种情况的总和
文章图片
问题：是如何区分词在哪一个分布的？词在每个分布的概率是如何计算的？
文章图片
1.2 d中词的概率
假设背景词已知，如何调整θd来让已观测到的高频词概率达到最大
文章图片
文章图片
当已知背景词模型时，B中词的概率高，d中词的概率就小了。、
1.3在文档中添加更多的背景词
文章图片
一个词出现得越多，那么这个词在d中的概率越高，对整体影响越大。
而如果提高p（thetaB）,那么提高d中的P的作用就不大了。即词出现的P还是受到p（thetaB）概率的规范影响的。
总结：
将高概率分配给数据中高频率的词汇。这是协作最大化可能性。其次，不同的组件模型倾向于在不同的词上下注高概率。这是为了避免竞争或浪费概率。这将使他们能够更有效地合作，最大限度地发挥作用。
1.4 期望最大化算法（EM）
文章图片
文章图片
文章图片
Z=0：单词来自于d。Z=1：单词来自于背景B
文章图片
EM操作：
给所有参数（一个词的概率）分配随机数。
在θd的情况下，来猜测这些词的z值（E）
在z值确定后，把相同分布的词分到同一组，利用正态计数来预测概率，修正参数（M）
文章图片
EM将趋于局部最大值
爬坡演算法
文章图片
计算下限，不直接计算似然函数（E）
最大化下限，使得我们能将参数移动到一个新的位置（M）
最终确保得到局部最大值
二：概率潜在语义分析（PLSA）
2.1简要介绍
文章图片
输入：集合、主题数量、一个词汇集。
输出：主题类别，特征描述
【文本挖掘第三周】
文章图片
文章图片
文章图片
有约束的优化问题：
（1）词分布和为1（2）话题覆盖的分布和为1
2.2 通过EM计算最大估计
文章图片
z：隐藏变量（话题指标）
文章图片
在（E）中：预测单词属于哪一类。从每个分布观察这个词的概率。
在（M）中：通过计算得到真实的估计。可以在所有的主题之间进行归一化以得到pi的重新估计，覆盖面。或者我们可以根据所有单词重新规范化。
文章图片
三：隐含利克雷分布（LDA）
3.1.先验知识扩展PLSA（监督）
标准PLSA:完全基于数据做最大似然估计
用户“检索模型”作为主题，对特定概念感兴趣
文章图片
p(^)即为先验知识
文章图片
伪计数：用先验知识中的词概率定义
增加伪计数，构成γ分布
μ反应先验知识的强度（0，不考虑先验知识。无穷大—背景语言模型）
3.2.将PLSA扩展为生成模型（LDA）
LDA是PLSA的贝叶斯版本
LDA不允许释放链条，强制其从另一个分配中抽取。将分别从两个Dirichlet分布中抽取，但??是狄利克雷分布是向量的分布。所以它给了我们一个向量四个特定选择的概率。
文章图片
对比差异：
文章图片
LDA的最大似然估计;
文章图片
名称,主题，和覆盖范围不再是LDA中的参数,要使用基本的推论或后验推断来根据α和β的参数来计算它们。
文章图片
文章图片
文章图片
推荐阅读
- 2018-02-06第三天|2018-02-06第三天 不能再了，反思到位就差改变
- 第三节|第三节 快乐和幸福（12）
- android第三方框架（五）ButterKnife
- thinkphp|thinkphp 3.2 如何调用第三方类库
- 和陈先生第三次在一起
- 我的世界同人小说《暮色齿轮》第三回|我的世界同人小说《暮色齿轮》第三回 回忆
- 亲子日记第三百四十二篇|亲子日记第三百四十二篇 暴雨
- Android7.0|Android7.0 第三方应用无法访问私有库
- 第三届文人杯诗书画大赛获名单公示
- 日更第三天，小聪明