CIPS青工委学术交流之张家俊老师走进复旦大学

2019年4月12日,中科院自动化所张家俊老师应复旦大学大数据学院魏忠钰老师的邀请,在复旦大学子彬院北楼205报告厅做了题为 “文本序列生成中的同步双向推断模型”的学术报告。青工委委员邱锡鹏老师、复旦大数据学院朱雪宁老师、陈琴博士等多位老师以及学生四十余人参加了此次报告会。

张家俊老师将自然语言处理任务形式化为四类:输入和输出对称的序列映射;输入是序列输出是类别的分类任务;输入是两个序列输出是相似度的相似度判别任务;输入和输出非对称的序列映射,其中前三者皆属于自然语言理解任务,第四个是自然语言生成。

张老师首先介绍了BERT(Bidirectional Encoder Representations from Transformers)模型,这一模型自2018年Google提出以来,在自然语言理解任务中取得了突破性进展,并指出采用Transformer框架的双向编码模型是其成功的关键因素之一。相比自然语言理解,生成任务中的大多数工作仍采用自左向右的单向解码模型,限制了对未来信息的利用。

接着,张老师介绍了他们提出的面向文本序列生成的同步双向推断模型(BIFT),该工作提出并行处理自左向右(L2R)和自右向左(R2L)的推断解码模型并使之进行交互,即L2R与R2L每一个方向的推断都依赖于双向的生成结果,从而可以有效利用到未来信息,并提出同步双向注意力模型,实现同步双向推断。该工作在机器翻译和自动摘要上都取得良好效果。

报告最后,张家俊老师同在场师生进行了热情交流。本次报告会圆满结束。

张家俊,博士,中科院自动化所模式识别国家重点实验室副研究员、中国中文信息学会机器翻译专委会副主任、青年工作委员会执委、中国计算机学会中文信息技术专委会委员、人工智能学会青年工作委员会常务委员。研究方向为自然语言处理、机器翻译、跨语言跨模态信息处理等。在国际著名期刊与国际顶级会议发表学术论文60余篇。曾四次获得自然语言处理学术会议最佳论文奖。被ACL-IJCNLP-2015、NAACL-2018和IJCAI-2018评为杰出审稿人/高级程序委员会委员(Outstanding Reviewer/SPC)。2014年和2018年分别获中国中文信息学会“钱伟长中文信息处理科学技术奖”一等奖(排名第三)和汉王青年创新奖。2015年入选首届中国科协“青年人才托举工程”计划。担任国际自然语言处理大会COLING-2018、EMNLP-IJCNLP-2019的领域主席和国际人工智能大会IJCAI (2017-2019)和AAAI-2019的高级程序委员会委员等。