【例会】Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data

主持人:赵春阳

参会老师:安宁、杨矫云

参会学生:程坤,郭思伊,韩朋,景波,江思源,李雨龙,刘杰,刘硕,明鉷,唐晨,滕越,肖勇博

本次例会学习讨论了以下文章:Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data

背景:

分割和标记序列出现在若干科学领域的许多不同问题中。隐马尔可夫模型(HMM)易理解且广泛用于这些问题的概率模型。

然而HMM由于其输出独立性假设,导致其不能考虑上下文的特征,限制了特征的选择;最大熵马尔可夫模型(MEMM)虽然考虑整个观察序列,但存在一个“标注偏置”(Label Bias)的问题。因此需要一种新的方法来解决这些问题。

题:如何解决最大熵马尔可夫模型(MEMM)的标志偏置问题?

设:提出一种新方法(条件随机场),解决MEMM存在的状态之间的假设问题。并且由MEMM的局部归一化变成全局归一化来解决标志偏置问题。

条件随机场的定义:

设X与Y是随机变量,P(Y|X)是在给定X的条件下Y的条件概率分布。若随机变量Y构成一个由无向图G=(Y,E)表示的马尔可夫随机场,即

P(Yv|X,Yw,w!=v)=p(Yv|X,Yw,w∼v)

     对任意v均成立,则称条件概率分布P(Y|X)为条件随机场,左式的w表示除v的其它节点,右式的w表示G中与节点v直接连接的所有节点w。

上面的定义并没有对X的形式有具体要求,但在实际生活中通常假设X有与Y相同的图结构,且为线性链形式,所以有对线性链条件随机场的定义:

       设X=(X1,X2, …… ,Xn),Y=(Y1,Y2, …… ,Yn)均为线性链表示的随机变量序列,在给定随机变量序列X的前提下,随机变量序列Y的条件概率分布P(Y|X)构成条件随机场,即满足马尔可夫性:

  P(Yi|X,Y1,Y2…Yn)=P(Yi|X,Yi−1,Yi+1)

       则称P(Y|X)为线性链条件随机场。在标注问题中,X表示输入观测序列,Y表示输出状态序列。

 

QQ截图20190104223118

图1:X与Y有相同结构的线性链条件随机场

线性链条件随机场的参数化形式:

设P(Y|X)为线性链条件随机场,当随机变量序列X=x,Y=y的情况下,条件概率有如下形式:

QQ截图20190104223432

    其中λk, µl表示权值;tk,sl表示特征函数(符合条件为1,否则为0)。Z(X)是规范化因子,范围是所有y的组合(而不是MEMM把范围局限在yi-1).

前向-后向法:

3

条件随机场的训练算法——改进迭代尺度法(IIS

4

条件随机场预测算法——维特比算法

5

结论:

在本文中,我们的条件随机场提供了一种独特的方法,主要有以下几点:序列分割和标记的可区分训练模型;状态值取值的独立性不仅取决于临近的过去,也取决于未来;基于动态规划的高效训练和解码和确保找到全局最优的参数估计。相对于MEMM和HMM的缓慢收敛,条件随机场的训练算法对于完全观察到的数据训练是非常有效的。在未来的工作中,我们计划研究其他训练方法,例如Collins等人的更新方法(2000)。

 

anyShare分享到:
This entry was posted in 新闻动态. Bookmark the permalink.

发表评论