为了赋予RN建模多跳路径的能力 Lin等人[13] 针对CommonsenseQA数据集提出了一个基于知识图谱ConceptNet的知识问答推理框架提出了KagNet如图7所示。
首先选择关注度最高的观点对然后检察每个选定对的（一个或两个）排名最高的路径。以这种方式定位的路径与推理历程高度相关而且建模时诸如“fountain”之类的嘈杂观点将淘汰。
实验效果在其时的CommonsenseQA上取得了SOTA。
(4)SOCIAL IQA
然后基于条理路径的注意力机制对所有路径的嵌入举行聚合。
中间注意力得分使其透明和可解释从而发生值得信赖的推断图8给出了模型可解释性的一个例子：
[13]
2.2外部知识库(1) ConceptNet
Speer, R.; Chin, J.; and Havasi, C. 2017. Conceptnet 5.5: Anopen multilingual graph of general knowledge. In AAAI.
(3)使用图神经网络融合知识知识
预训练语言模型如BERT、GPT等在许多任务上都取得了很好的效果但很少明确地包罗知识知识。最近的研究讲明只需在大型预训练模型上融合知识知识举行继续训练或者微调就能到达一个很好的效果。
如 Ye等人[10] 提出了一种将知识知识整合到语言模型中的预训练方法使用align、mask、select（AMS）方法自动结构了一个知识相关的多项选择问答数据集用于预训练神经语言表现模型。AMS方法如下：
(2) ATOMIC
主编：车万翔
KagNet对RN举行了革新可以看作知识增强的关系网络模块使用LSTM编码从问题中的实体到谜底中的实体的所有K跳的路径:
主编：车万翔
KagNet对RN举行了革新可以看作知识增强的关系网络模块使用LSTM编码从问题中的实体到谜底中的实体的所有K跳的路径:
[8]
(2) CosmosQA
CosmosQA数据集包罗35600个需要知识阅读明白的问题约莫94％的问题需要知识这是所有需要明白段落的QA基准中所见比例最高的。其专注于解决需要跨越上下文、而不是定位指定片段的推理问题。
其主要特点为：
编辑：王若珂钟蔚弘彭湃朱文轩冯晨杜佳琪牟虹霖张馨
[14]
虽然关系网络可以建模多跳关系在关系路径上应用注意力机制也能提供良好的可解释性可是关系网络建模路径的可扩展性受节点数量和路径长度的限制因为路径数量随节点的数量是多项式增加的随路径长度是指数级增加的。相比之下图神经网络通过其消息通报机制享有更好的可伸缩性。
基于三元组中的mask之外的词去ConceptNet搜索找4个包罗这两个词的三元组作为滋扰。如果大于4个随机选4个反之过滤掉；(select)
图15 MHGRN模型的结构图
[1]
首先从ConceptNet中挑选一些三元组：非英文去掉；调整RelateA和IsA关系三元组到正常比例因为在ConceptNet中这两种关系占比力高；三元组中至少有一个实体包罗四个单词以上或者两个实体之间的编辑距离少于4；
