主持人:李雨龙
参会老师:杨矫云
参会学生:赵春阳,贵芳,韩朋,李雨龙,刘硕,明鉷,肖勇博,景波,江思源,程坤
时间:2018年11月7日
本次例会学习讨论了以下文章:
Ghahramani Z, Griffiths T L, Sollich P. Bayesian nonparametric latent feature models[J]. 2007.
一、背景
潜变量是许多统计模型的重要组成部分。
这些潜变量的作用是表示未直接观察到的属性,或者表示观测数据的隐藏原因。 大多数具有潜变量模型假设每个对象的潜变量数量有限。
虽然定义每个对象具有有限数量的潜变量或潜特征的模型可能计算起来很方便,但对潜变量的数量进行约束在统计学上可能是不适当的。
二、问题
如何描述一类潜变量模型,其中每个对象都与一个潜在的无界特征向量相关联?
三、假设
本文设计了一种方法来进行潜变量建模——印度自助餐过程IBP,以及这种过程的双参数扩展。并介绍了这种分布在无限隐特征模型中的先验应用。
四、方法
1、利用无穷二值矩阵Z定义潜特征模型
2、计算当特征数为K(有限)时Z的分布
3、定义二值矩阵Z的lof-等价类[Z]
4、计算K→∞时,[Z]的分布
5、介绍印度自助餐过程(IBP)
假设有N个客人(对象),无穷多的盛菜的碟子(特征)
第一位客人从最左边开始,从每个碟子中取一个,直到盘子负重超过Poisson(α)。
第i位顾客也从最左边开始,他从所有已经被人品尝过的菜中挑选,每道菜被挑选的概率为mk/i,其中mk是以前品尝过第k道菜的顾客的数量,已经到了之前所有品尝过的菜肴的尽头之后,他会品尝Poisson(α/i)道新菜。
6、介绍双参数时的IBP和Z对应的分布
五、实验
将无限二元线性高斯模型的吉布斯采样器应用在模拟数据集X上
数据集X由100个6×6图像组成,每幅图像xi为36维向量。
这些图像是由四个潜特征生成的,对应于图(a)中所示的图像元素(即模型中的矩阵A的行),每幅图像拥有每个潜特征的概率为0.5,最终得到每个图像的潜特征zi,然后根据均值为ziA和协方差σxI的高斯分布生成每幅图像,其中σx=0.5
使用MCMC算法进行采样1000次
(b)表示数据集中的样本图像,以及用于生成它们的zi
(c)表示使用MCMC进行第1000次迭代,大多数对象所具有的四个特征对应的图像元素
(d)显示了使用(b)中四幅图像的特征向量zi和算法的输出重建这些图像E[ziA|X,Z]。
可以看出
该模型发现的潜在特征表示与用于生成数据的特征表示非常一致。
模型提供的重构清晰地选择了相关的特征,尽管原始图像的噪声水平很高。
六、应用
IBP可以应用于多种场景
行为选择模型
蛋白质相互作用筛选模型
因果图结构模型
二元数据模型
从相似性判断中提取特征
每个应用都使用相同的先验P(Z),但是对于潜在特征与观测数据之间的概率P(X|Z),每个应用有不同的选择
七、结论
我们定义了无限二进制矩阵上的一个分布,它可以作为潜特征模型的先验。
我们还证明,同样的分布可以用一个简单的随机过程来描述——印度自助餐过程。
我们描述了印度自助餐过程的双参数扩展,它增加了灵活性,使每个对象的特征数与特征总数脱钩。
这种基于无限二进制矩阵的先验的方法可以应用于因果发现,选择建模和蛋白质组合等多种场合。