注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

零售创新,创新那些事儿,SPSS,VBA

零售创新

 
 
 

日志

 
 
关于我

新浪微博,零售创新 研究经理,数据分析师 希望和市场研究和零售业的同事共同进步! 本博客发表的都是免费或试用的资料,如果有版权问题请发邮件wangli12a@163.com联系删除。 spss excel vba blog

网易考拉推荐

【转载】贝叶斯网络简介  

2012-06-29 10:24:50|  分类: 免费报告 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
本文转载自zzz《贝叶斯网络简介》
  • 贝叶斯网络简介 - zzz - 水墨·点滴        贝叶斯网络是为了处理人工智能研究中的不确定性(uncertainty)问题而发展起来的。贝叶斯网络是将概率统计应用于复杂领域进行不确定性推理和数据分析的工具。 BN是一种系统地描述随即变量之间关系的工具。建立BN的目的主要是进行概率推理(probabilistic inference)。 用概率论处理不确定性的主要优点是保证推理结果的正确性。

为什么要用贝叶斯网络进行概率推理?

  •       理论上,进行概率推理所需要的只是一个联合概率分布。但是联合概率分布的复杂度相对于变量个数成指数增长,所以当变量众多时不可行。
  •  
  • 贝叶斯网络的提出就是要解决这个问题。它把复杂的联合概率分布分解成一系列相对简单的模块,从而大大降低知识获取和概率推理的复杂度,使得可以把概率论应用于大型问题。
  • 统计学、系统工程、信息论以及模式识别等学科中贝叶斯网络特里的多元概率模型:朴素贝叶斯模型,隐类模型,混合模型,隐马尔科夫模型,卡尔曼滤波器等。
  • 动态贝叶斯网络主要用于对多维离散时间序列的监控和预测。
  • 多层隐类模型,能够揭示观测变量背后的隐结构。

 

概率论基础: 贝叶斯网络所依赖的一个核心概念是条件独立,Conditional Independence

 1、基本概念

 

 

 

 

 2、图分割与变量独立

  • 图分割,有向分割(d-separate,d-分割)

    变量X和Y通过第三个变量Z间接相连的三种情况:

      

    阻塞(block)

    设Z为一节点集合,X和Y是不在Z中的两个节点。考虑X和Y之间的一条通路。如果满足下面条件之一,则称被Z所阻塞:

    1.有一个在Z中的顺连节点;

    2.有一个在Z中的分连节点

    3. 有一个汇连节点W,它和它的后代节点均不在Z中。

     

    如果X和Y之间的所有通路都被Z阻塞,则说Z有向分割(directed separate)X和Y,简称d-separate,d-分割。那么X和Y在给定Z时条件独立。

    定理(整体马尔科夫性)设X和Y为贝叶斯网N中的两个变量,Z为N中一个不包含X和Y的节点集合。如果Z d-分割X和Y,那么X和Y在给定Z时条件独立,即

    d-分割是图论的概念,而条件独立是概率论的概念,所以定理揭示了贝叶斯网络图论侧面和概率论侧面之间的关系。 

 

3、 马尔科夫边界与端正图

马尔科夫边界:在贝叶斯网络中,一个节点X的马尔科夫边界(Markov boundary)包括其父节点、子节点、以及子节点的父节点。

端正图(Moral graph): 设G为一有向无环图,如果将G中每个节点的不同父节点结合,即在他们之间加一条边,然后去掉所有边的方向,所得到的无向图成为G的端正图。

 

4、贝叶斯网络推理(Inference)

         贝叶斯络可以利用变量间的条件独立对联合分布进行分解,降低参数个数。推理(inference)是通过计算来回答查询的过程。

 

贝叶斯网络推理(Inference)

1 变量消元算法(Variable elimination)

利用概率分解降低推理复杂度。

@ 使得运算局部化。消元过程实质上就是一个边缘化的过程。

@ 最优消元顺序:最大势搜索,最小缺边搜索

2. 团树传播算法

  • 利用步骤共享来加快推理的算法。
  • 团树(clique tree)是一种无向树,其中每一个节点代表一个变量集合,称为团(clique)。团树必须满足变量连通性,即包含同一变量的所有团所导出的子图必须是连通的。

 

  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  • 用团树组织变量消元的算法。计算共享
  • 团树传播算法基本步骤:
  • 将贝叶斯网络转化为团树
  • 团树初始化
  • 在团树中选一个团作为枢纽
  • 全局概率传播:CollectMessage; DistributeMessage
  • 边缘化,归一化

     

    团树传播算法示例 ([TLR]是枢纽节点)

    F变量消元和团树传播算法都是精确推理算法。

  评论这张
 
阅读(346)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017