贝叶斯公式java代码 贝叶斯公式中的j( 二 )


其中 , 先验信息一般来源于经验跟历史资料 。比如林丹跟某选手对决,解说一般会根据林丹历次比赛的成绩对此次比赛的胜负做个大致的判断 。再比如,某工厂每天都要对产品进行质检,以评估产品的不合格率θ , 经过一段时间后便会积累大量的历史资料 , 这些历史资料便是先验知识,有了这些先验知识 , 便在决定对一个产品是否需要每天质检时便有了依据,如果以往的历史资料显示,某产品的不合格率只有0.01%,便可视为信得过产品或免检产品 , 只每月抽检一两次,从而省去大量的人力物力 。
而 后验分布 π(θ|X)一般也认为是在给定样本X的情况下的θ条件分布,而使π(θ|X)达到最大的值θMD称为 最大后验估计,类似于经典统计学中的 极大似然估计。
综合起来看,则好比是人类刚开始时对大自然只有少得可怜的先验知识,但随着不断观察、实验获得更多的样本、结果,使得人们对自然界的规律摸得越来越透彻 。所以,贝叶斯方法既符合人们日常生活的思考方式,也符合人们认识自然的规律,经过不断的发展,最终占据统计学领域的半壁江山,与经典统计学分庭抗礼 。
条件概率 (又称后验概率)就是事件A在另外一个事件B已经发生条件下的发生概率 。条件概率表示为P(A|B),读作“在B条件下A的概率” 。
比如上图,在同一个样本空间Ω中的事件或者子集A与B , 如果随机从Ω中选出的一个元素属于B,那么这个随机选择的元素还属于A的概率就定义为在B的前提下A的条件概率:
联合概率:
边缘概率(先验概率):P(A)或者P(B)
贝叶斯网络(Bayesian network),又称信念网络(Belief Network),或有向无环图模型(directed acyclic graphical model),是一种概率图模型,于1985年由Judea Pearl首先提出 。它是一种模拟人类推理过程中因果关系的不确定性处理模型,其网络拓朴结构是一个有向无环图(DAG) 。
贝叶斯网络的有向无环图中的节点表示随机变量
它们可以是可观察到的变量 , 或隐变量、未知参数等 。认为有因果关系(或非条件独立)的变量或命题则用箭头来连接 。若两个节点间以一个单箭头连接在一起,表示其中一个节点是“因(parents)”,另一个是“果(children)”,两节点就会产生一个条件概率值 。
例如,假设节点E直接影响到节点H , 即E→H,则用从E指向H的箭头建立结点E到结点H的有向弧(E,H),权值(即连接强度)用条件概率P(H|E)来表示,如下图所示:
简言之 , 把某个研究系统中涉及的随机变量,根据是否条件独立绘制在一个有向图中,就形成了贝叶斯网络 。其主要用来描述随机变量之间的条件依赖,用圈表示随机变量(random variables) , 用箭头表示条件依赖(conditional dependencies) 。
此外,对于任意的随机变量 , 其联合概率可由各自的局部条件概率分布相乘而得出:
1. head-to-head
依上图,所以有:P(a,b,c) = P(a) P(b) P(c|a,b)成立,即在c未知的条件下,a、b被阻断(blocked) , 是独立的,称之为head-to-head条件独立 。
2. tail-to-tail
考虑c未知 , 跟c已知这两种情况:
3. head-to-tail
还是分c未知跟c已知这两种情况:
wikipedia上是这样定义因子图的:将一个具有多变量的全局函数因子分解,得到几个局部函数的乘积 , 以此为基础得到的一个双向图叫做因子图(Factor Graph) 。
通俗来讲,所谓因子图就是对函数进行因子分解得到的 一种概率图。一般内含两种节点:变量节点和函数节点 。我们知道,一个全局函数通过因式分解能够分解为多个局部函数的乘积,这些局部函数和对应的变量关系就体现在因子图上 。

推荐阅读