【例会】Semantic vector learning for natural language understanding

主持人:程坤

参会老师:杨矫云

参会学生:赵春阳,李雨龙,刘硕,郭思伊。

本次例会主要学习讨论了文章

Jung S. Semantic vector learning for natural language understanding[J]. Computer Speech & Language, 2019, 56: 130-145.

背景

自然语言理解(NLU)是实现自然用户交流(如聊天机器人、移动秘书和智能扬声器)的核心技术。NLU的目标是从自然语言中提取意义,推断用户的意图。 NLU通常包括两个任务:识别用户意图和提取特定域的实体。意图检测通常作为句子分类来考虑,其中每个句子被预测一个或多个意图标签。域实体提取,通常被称为slot-filling问题,其中句子的部分被提取并使用域实体标记。

问题

在NLU的背景下,嵌入一致性的研究相对较少,如何实现一些关于NLU的新应用如语句的相似度,距离度量?

假设

本文提出了一种学习嵌入文本与提取的语义知识之间的语义对应关系的框架。其中一个关键的贡献技术是语义框架重构,该技术用于在嵌入向量与其对应的语义帧之间生成一对一的映射

方法

屏幕快照 2019-05-29 18.28.16

1. 我们的框架由文本阅读器、语义框架阅读器和语义框架编写器组成。文本阅读器将一系列标记嵌入到分布式向量表示中。语义框架阅读器读取结构化文本并将每个文本编码到一个向量。vt表示从文本阅读器派生的向量语义框架,vs表示从语义框架阅读器派生的向量语义框架。最后,语义框架作者从向量表示中生成符号语义框架。

2.一个文本阅读器,实现了一个神经语句编码器,读取一系列输入标记并将每个标记编码到一个向量。在本研究中,我们使用长短期记忆(LSTM)对输入序列进行编码,语义框架由结构化标记(如intent和slot-tag以及slot-values)组成。在本研究中,intent标签被处理为一个符号,而slot标签和slot值被处理为一个符号序列

3.设置了理想语义向量的性质,并定义了损失函数来满足这些性质。属性“嵌入对应”距离损失度量的是文本阅读器与语义框架阅读器在向量空间中编码的语义向量之间的差异。损失定义为属性“嵌入对应”距离损失度量的是文本阅读器与语义框架阅读器在向量空间中编码的语义向量之间的差异。属性“重构”内容丢失提供了一个度量语义框架向量包含多少语义信息的方法。在没有内容丢失的情况下,vt和vs趋向于快速收敛到零向量,这意味着没有学习语义表示。为了度量内容的保持性,从语义向量中进行符号语义框架的生成,并计算出原始语义框架与生成的语义框架之间的差异。

实验

ATIS2数据集。ATIS2数据集由航空旅行信息搜索任务的注释intent和slot语料库组成。ATIS2数据集附带一个常用的训练和测试分割。将训练集进一步划分为90%的训练集和10%的开发集。

结果

可以看到损失考虑向量距离和内容损失是最好的方法。此外,发现使用向量组合方法文本(T)进行损失计算,结果稳定和优越的性能。注意,本文提出的基于语义距离的相似句式搜索具有较好的搜索性能。在搜索句子时,系统对排在前3位的相似句子的搜索结果基本正确,对排在前5位的插槽和意图-插槽匹配的搜索结果正确率约为75%。我们还可以使用语义框架查询来搜索相似的句子。有时,服务设计人员或开发人员希望找到具有{intent: ‘ ask ‘这样结构化查询的句子。, slot:[datetime = ' 2pm ', location = ' local ']},而不是将原始文本发送到日志数据库。语义框架阅读器直接向vs解释语义框架查询,可以检索到v0最接近vs的句子。我们可以看到,搜索显示几乎完美的性能在意图加工。这意味着向量vs从语义框架阅读器中直接编码语义框架的符号,可以很好地保存语义信息。

总结

本文提出了一种新颖而优雅的学习distributed vector语义向量的结构。为了学习有效和有意义的分布式语义表示,考虑了嵌入对应和重构两个性质。研究了各种类型的损失计算方法和语义向量的合成方法,结果表明,具有完全intent的距离损失和slot-tag生成损失是最好的。通过对ATIS数据集的各种实验,证实了所学习的语义向量确实包含语义信息。语义向量可视化结果表明,语义相似的实例实际上位于向量空间附近。此外,利用所学习的语义向量,通过比较文本和语义框架的语义向量值,无需进一步学习就可以实现对多个NLU系统的重新排序。

展望

向量空间上的语义运算或代数将是一个非常有前途的研究课题。此外,有了足够的训练数据和对我们的方法进行适当的修改,就可以消除添加文本重构约束,并且可以直接从语义向量生成文本。此外,我们还将开发更优雅的方法来选择、拒绝来自一个或多个NLU系统的多个NLU结果。

 

anyShare分享到:
This entry was posted in 例会. Bookmark the permalink.

发表评论