机器阅读理解首次超越人类！云从科技创自然语言处理新纪录

2019-03-12 08:59

目前，云从科技承担了国家发改委与工信部的人工智能基础平台、人工智能应用平台和人工智能的核心芯片平台项目，包含智能感知技术和认知决策技术为核心的技术闭环，并刷新多项世界纪录，保持自主核心技术国际领先。

在这个基础上，云从科技正在致力整合算力、智力、数据等资源及其成果，打造人工智能开放平台与生态，进一步促进人工智能在金融、安防、交通、零售、商业等重要行业的落地与深度融合。

附：论文解读

1.DCMN匹配机制

以P与Q之间的匹配为例，说明DCMN的匹配机制。下图为P与Q之间的DCMN匹配框架。

云从科技和上海交大使用目前NLP最新的研究成果BERT分别为P和Q中的每一个Token进行编码。基于BERT的编码，可以得到的编码是一个包含了P和Q中各自上下文信息的编码，而不是一个固定的静态编码，如上图中Hp与Hq；

其次，通过Attention的方式，实现P和Q的匹配。具体来讲，是构建P中的每一个Token在Q中的Attendances，即Question-Aware的Passage，如上图中Mp。这样得到的每一个P的Token编码，包含了与Question的匹配信息；

为了充分利用BERT带来的上下文信息，以及P与Q匹配后的信息，将P中每个Token的BERT编码Hp，与P中每个Token与Q匹配后的编码Mp进行融合，对Hp和Mp进行了元素减法及乘法操作，通过一个激活函数，得到了P与Q的最终融合表示，图中表示为Spq；

最后通过maxpooling操作得到Cpq，l维向量，用于最后的loss计算。

2.各种匹配策略研究

除了P与A之间的匹配之外，还可以有Q与A、P与Q之间的匹配，以及不同匹配得到的匹配向量间的组合，这些不同的匹配与组合构成了不同的匹配策略。对七种不同的匹配策略分别进行了试验，以找到更加合适的匹配策略，分别是：

[P_Q； P_A； Q_A]， [P_Q； P_A]， [P_Q； Q_A]， [P_A； Q_A]， [PQ_A]， [P_QA]， [PA_Q]

“PA”表示先将P和A连接为一个序列，再参与匹配，“PQ”与“QA”同理。符号“[ ； ]”表示将多种匹配的结果组合在一起。[P_Q； P_A； Q_A]模式下的模型架构如下图：

7种不同策略通过试验，采用PQ_A的匹配策略，即先将P与Q连接，然后与A匹配，无论是在初中题目（RACE-M）、高中题目（RACE-H）还是整体（RACE），该策略都得到了更优的结果。

<上一页 1 2

声明： 本文系OFweek根据授权转载自其它媒体或授权刊载，目的在于信息传递，并不代表本站赞同其观点和对其真实性负责，如有新闻稿件和图片作品的内容、版权以及其它问题的，请联系我们。

共0条评论，0人参与

登录登录即可访问所有OFweek服务

请输入评论内容...

请输入评论/评论长度6~500个字

暂无评论

图片新闻

行业报告