————————————————————
题目：用于句子对建模的句子交互网络（PDF）
作者：黄民烈（清华大学）
————————————————————
黄民烈：清华大学计算机系副教授。研究兴趣在自然语言处理，人工智能系统，机器学习方法与应用。在CCF A/B类国际主流会议和期刊发表论文超过40篇（包括IJCAI、AAAI、ACL、EMNLP等），SCI索引论文20多篇，获得NLPCC2015最佳论文奖。多次承担国家自然科学基金项目和科技支撑计划项目、973与863子课题，多次与国内外企业如谷歌、美孚石油、微软、三星、惠普、腾讯、阿里巴巴等开展合作项目。多次作为领域主席（ACL 2016，EMNLP 2014，EMNLP 2011）或本地主席参与组织国际主流会议。担任国际主流会议IJCAI、AAAI、ACL、EMNLP、COLING等程序委员会委员，国际顶级期刊TPAMI、TKDE、TOIS等审稿人。
摘要：句子表示是自然语言处理中一个非常重要的问题，而句子对的表示建模则还较少有工作涉及。清华大学计算机系黄民烈老师的工作，提出了基于“交互思想”的句子对表示模型，即两个句子中的各个位置上，信息需要互相流动，互相影响各自的表示，以便更好地建模句子之间依赖和关联关系。在答案选择和对话意图分类两个任务中，该模型均获得了较好的性能。
在很多的文本分析任务中，上下文的建模能力对于任务的性能至关重要，比如为了分析对话中语句的语义，我们需要考虑整段对话的语义环境；在阅读理解中，我们需要合理地对整个文档建模，才能为某个问题选择合适的回答。我们在ACL2016发表论文《A Sentence Interaction Network for Modeling Dependence between Sentences》，提出了一种基于交互思想的神经网络模型。论文提出了一种新的神经网络模型以建模句子之间的关系，从而更充分地考虑上下文语义，提高相关任务的性能。我们将该模型应用到了答案选择（Answer Selection）和对话意图分析（Dialogue Act Analysis）两个任务中，取得了显著的性能提升。
图1：Sentence Interaction Network (SIN)
该模型（SIN）从句子对（Sentence Pair）建模着手来解决复杂的上下文建模问题。给定两个句子S1和S2，比如一个问题(what do cats look like?)和一个回答(Cats have large eyes and furry body.)，我们需要判断该问题是否被正确的回答了，此时即需要考虑两个句子之间的语义相关性。SIN首先用LSTM分别对两个句子进行建模，得到句子中词的表示。然后用这些词的表示来计算两个句子之间的交互状态，这些交互状态携带了词与词（或短语与短语）之间的语义关系，比如是否语义相近，是否能够回答等。具体地，例如在学习S1中的某个位置的表示时，S2的所有位置的词的隐状态变量都会通过计算一个交互状态（interaction state）流入到对应位置中。例如图1中，S1的t位置，会接收到
作为输入，而这个 则来自S2的所有位置的隐状态作为输入。通过这种方式，实际上我们可以得到两个句子所有位置的互相依赖和影响。
当将这些交互状态引入到句子建模中之后，我们便得到了含有上下文信息的句子表示。用这样的句子表示即可很好的判断这两个句子的语义相关性。
图2：对话分析中上下文的建模，采用层次化网络进行句子序列之间的建模
SIN模型可以建模句子对之间的语义关联性，但对更长的上下文依赖关系来说，我们需要加入其它机制来获取更多的上下文信息。比如在对话意图分析中，我们需要判断对话中某句话的意图，即它是否表达了一定的观点，是否在表示疑问等。我们先用SIN建模对话中前一句话的影响，然后用LSTM来建模对话中之前的语句对当前语义的影响，以更加精确的对当前的语句进行分析。
为了分析SIN模型的工作机制，我们将其中交互状态的模长线性映射到了[0,1]区间，并用热力图的形式进行了可视化展示。图中展示的是一个问题到一个回答之间的交互状态模长，可以看到模型恰当的捕捉到了问题与答案之间的对应关系，从而向我们展示出模型对句子间依赖关系强大的建模能力。
图3：给定的问题—回答
图4：SIN中交互状态模长的可视化展示，答案的关键部分“a visible mass of liquid droplets”刚好能被模型很好注意到。
文本分析中上下文的依赖关系是极其复杂的，我们的模型只是在这个方向上一个简单的尝试，在未来工作中，我们将会试图解决诸如阅读理解，精细的对话分析等更加复杂的上下文建模问题，以期在此方向上获得进一步的突破。进一步详细信息，欢迎查阅我们的论文。
Reference:
Biao Liu, Minlie Huang, Song Liu, Xuan Zhu, Xiaoyan Zhu. A Sentence Interaction Network for Modeling Dependence between Sentences. ACL 2016, Berlin, Germany.