【例会】A Bayesian Method for the Induction of
 Probabilistic Networks from Data 论文学习报告

时间:2018.08.15

主持人:程坤

参会老师: 杨矫云

参会学生:明鉷,韩朋,刘杰,段优,李雨龙,赵春阳,刘硕

请假:唐晨,滕越,肖勇博,江思源

本次例会学习讨论了以下文章:

G. Cooper and E. Herskovits, “A Bayesian Method for the Induction of Probabilistic Networks from Data,” Machine Learning,vol. 9,  pp. 309-347, 1992.

这篇文章提出了基于数据的概率网络诱导的贝叶斯方法。当前在百度学术的被引量为4902.

 

  • 背景(background)

贝叶斯分析方法(Bayesian Analysis)是贝叶斯学习的基础,它提供了一种计算假设概率的方法,这种方法是基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身而得出的。其方法为,将关于未知参数的先验信息与样本信息综合,再根据贝叶斯公式,得出后验信息,然后根据后验信息去推断未知参数的方法。

从数据库的记录中构建概率网络。 一旦构建,这样的网络可以观察到数据库中变量之间存在的概率依赖性。 其中的一个应用是自动发现依赖关系。 计算机程序在给定数据库的情况下搜索具有高后验概率的概率网络结构,并输出结构及其概率。 相关任务是计算机辅助假设检验:用户输入一组变量之间依赖关系的假设结构,程序计算数据库中给定变量上的案例的结构概率。

  • 问题和假设(problem & hypothesis)

问题:在所有可能的信度网络结构中如何找到最合适的结构来表示节点之间的关系?

假设:不同的信度网络结构具有相同的先验概率,在相同的数据库的条件下,计算不同的信度网络结构的条件概率,比较得出结果;

  • 方法(method)

作者在这里提出了一种启发式搜索方法,在许多可能性中用于最大化PBs,D)。 首先的假设是我们对域变量有一个排序,并且先验地认为所有结构都是同等可能的。 使用贪婪搜索方法。该算法假设节点一开始都没有父节点,然后逐步增加父节点,其添加最多会增加信度结构的概率。 当没有单个父节点的添加可以增加概率时,我们停止向节点添加父节点。它的出发点是一个包含所有节点,但没有边的无边图,在搜索过程中,K2按顺序逐个考察P中的变量,确定其父节点,然后在添加相应的边。最后得到一个满足条件的最优模型。

  • 实验(experiment)

通过模拟从信度网络生成数据库,然后尝试从数据库重建信度网络。特别是,将之前讨论的K2算法应用于由ALARM信度网络生成的10,000个案例的数据库,其结构如图4.Beinlich构建了ALARM网络作为模拟在手术室里潜在麻醉的初始研究原型(Beinlich等,1989)。例如,节点20表示患者接受麻醉或镇痛不足,节点27表示患者肾上腺素释放增加,节点29表示患者心率增加,节点8表示EKG测量患者心率增加。当ALARM被给予输入结果 - 例如心率测量 - 它输出一组可能出现的问题的概率分布 - 例如麻醉不足。 ALARM代表8个诊断问题,16个结果,以及将诊断问题与发现联系起来的13个中间变量。 ALARM包含总共46个弧和37个节点,每个节点有两到四个可能的值。

                          5350A7A3-3314-4979-BD26-BC7DE392341C

作者使用由Henrion开发的蒙特卡罗技术从ALARM生成案例,每个案例对应于37个变量中每个变量的赋值。蒙特卡罗技术是一种无偏的情况生成器,在某种意义上,生成特定情况的概率等于根据信念网络存在的概率。我们生成了10,000个这样的案例来创建一个我们用作K2算法输入的数据库。为K2提供了37个节点上的排序,这与ALARM指定的节点的部分顺序一致。

  • 结果分析(analysis ) 

E33D371B-0990-4C2A-A469-760508C8BDB0

分析了来自相同10,000个案例数据库的前100,200,500,1000,20003000个案例时K2的性能。 K2应用于这些数据库的结果总结在表5中。仅使用3000个案例,K2使用完整的10,000个案例生成了相同的信任网络。虽然是初步的,但这些结果令人鼓舞,因为它们证明了K2可以使用现成的计算机硬件从一组案例中快速重建中等复杂的信度网络。

  • 展望(future work)

尽管BLN (Bayesian learning of belief networks)显示出作为一种学习和推理方法的希望,但仍然存在许多未解决的问题。例如:对于从信度网络生成的数据库,重要的是证明随着数据库中的案例数量的增加,BLN会聚到底层生成网络或在统计上与生成网络无法区分的网络。在假设节点顺序的特殊情况下证明了这个结果。还需要存在隐藏变量时的收敛证明。相关问题是确定恢复生成网络所需的预期案例数并确定P(Bs|D)的方差。还需要研究BLN对不同类型噪声数据的理论和经验敏感度。另一个研究领域是或者更一般地说,是混合有向和无向网络的贝叶斯学习。

扩展BLN以处理连续变量是另一个未解决的问题。 ss决这个问题的一种方法是使用贝叶斯方法来离散连续变量。 当应用于来自不同域的数据库时,需要更多的实证工作来研究BLN方法的实用性。

anyShare分享到:
This entry was posted in 例会. Bookmark the permalink.

发表评论