一.LDA的应用方向

二.朴素贝叶斯的分析

三.Gamma函数

四.Beta分布

五.Beta分布的期望

六.LDA涉及的主要问题

1.共轭先验分布

①.二项分布的最大似然估计

②.二项分布与先验举例

③.上述过程的理论解释

④.先验概率和后验概率的关系

⑤.伪计数

⑥.共轭先验的直接推广

2.Dirichlet分布

①.Dirichlet分布的期望

②.Dirichlet分布分析

③.对称Dirichlet分布

④.对称Dirichlet分布的参数分析

⑤.参数α对Dirichlet分布的影响

3.LDA模型

①.LDA的解释

②.详细解释

③.参数的学习

④.似然概率

4.Gibbs采样算法学习参数

①.联合分布

②.计算因子

③.词分布和主题分布

七.代码实现

八.三个矩阵和三个向量

九.数据处理流程

十.超参数的确定

十一.一种迭代求超参数的方法

十二.主题个数的确定

十三.概率分布的困惑度/复杂度Perplexity

十四.困惑度Perplexity与主题模型

十五.PageRank

十六.TextRank

十七.LDA总结

一.LDA的应用方向

1.信息提取和搜索
语义分析
2.文档分类/聚类、文章摘要、社区挖掘

3.基于内容的图像聚类、目标识别
以及其他计算机视觉应用
4.生物信息数据的应用

二.朴素贝叶斯的分析

1.可以胜任许多文本分类问题。
2.无法解决语料中一词多义和多词一义的问题——它更像是词法分析，而非语义分析。
3.如果使用词向量作为文档的特征，一词多义和多词一义会造成计算文档间相似度的不准确性。
4.可以通过增加“主题”的方式，一定程度的解决上述问题：
        一个词可能被映射到多个主题中
                ——一词多义
        多个词可能被映射到某个主题的概率很高
                ——多词一义

三.Gamma函数

四.Beta分布

五.Beta分布的期望

六.LDA涉及的主要问题

1.共轭先验分布

由于x为给定样本，P(x)有时被称为“证据”，仅仅是归一化因子，如果不关心P(θ|x)的具体值，只考察θ取何值时后验概率P(θ|x)最大，则可将分母省去。

在贝叶斯概率理论中，如果后验概率P(θ|x)和先验概率p(θ)满足同样的分布律，那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。

①.二项分布的最大似然估计

投硬币试验中，进行N次独立试验，n次朝上，N-n次朝下。
假定朝上的概率为p，使用对数似然函数作为目标函数：

②.二项分布与先验举例

在校门口统计一定时间段内出入的男女生数目分别为NB和NG，估算该校男女生比例。若观察到4个女生和1个男生，可以得出该校女生比例是80%吗？

③.上述过程的理论解释

投掷一个非均匀硬币，可以使用参数为θ的伯努利模型，θ为硬币为正面的概率，那么结果x的分布形式为：

两点分布/二项分布的共轭先验是Beta分布，它具有两个参数α和β，Beta分布形式为

④.先验概率和后验概率的关系

后验概率是参数为(k+α,n-k+β)的Beta分布，即：伯努利分布/二项分布的共轭先验是Beta分布。

⑤.伪计数

参数α、β是决定参数θ的参数，即超参数。
在后验概率的最终表达式中，参数α、β和k、n-k一起作为参数θ的指数——后验概率的参
数为(k+α,n-k+β)。
根据这个指数的实践意义：投币过程中，正面朝上的次数，α和β先验性的给出了在没有任何实验的前提下，硬币朝上的概率分配；因此，α和β可被称作“伪计数”。

⑥.共轭先验的直接推广

从2到K：

二项分布到多项分布

Beta分布到 Dirichlet分布

2.Dirichlet分布

①.Dirichlet分布的期望

②.Dirichlet分布分析

α是参数向量，共K个

定义在x1,x2…xK-1维上

        x1+x2+…+xK-1+xK=1
        x1,x2…xK-1>0
        定义在(K-1)维的单纯形上，其他区域的概率密度为0
α的取值对Dir(p|α)有什么影响？

③.对称Dirichlet分布

④.对称Dirichlet分布的参数分析

α=1时

退化为均匀分布

当α>1时

p1=p2=…=pk的概率增大

当α<1时

pi=1，p非i=0的概率增大

⑤.参数α对Dirichlet分布的影响

多项分布的共轭分布是Dirichlet分布

3.LDA模型

①.LDA的解释

1.共有m篇文章，一共涉及了K个主题；
2.每篇文章(长度为Nm)都有各自的主题分布，主题分布是多项分布，该多项分布的参数服从Dirichlet分布，该Dirichlet分布的参数为α；
3.每个主题都有各自的词分布，词分布为多项分布，该多项分布的参数服从Dirichlet
分布，该Dirichlet分布的参数为β；
4.对于某篇文章中的第n个词，首先从该文章的主题分布中采样一个主题，然后在这个主题对应的词分布中采样一个词。不断重复这个随机生成过程，直到m篇文章全部完成上述过程。

②.详细解释

图中K为主题个数，M为文档总数，Nm是第m个文档的单词总数。β是每个Topic下词的多项分布的Dirichlet先验参数，α是每个文档下Topic的多项分布的Dirichlet先验参数。zmn是第m个文档中第n个词的主题，wmn是m个文档中的第n个词。两个隐含变量θ和φ分别表示第m个文档下的Topic分布和第k个Topic下词的分布，前者是k维(k为Topic总数)向量，后者是v维向量(v为词典中term总数)