[發明專利]融合實體和句子推理信息的問題答案提取方法及電子裝置

在審

• 申請號: 202011078614.3
• 申請日: 2020-10-10
• 公開（公告）號: CN112380835A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 林政;付鵬;劉歡;王偉平;孟丹
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/295;G06F40/30;G06N3/04
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 陳艷

本發明提供一種融合實體和句子推理信息的問題答案提取方法及電子裝置，包括：將一問題與若干目標文檔拼接，輸入預訓練語言模型，得到問題表示Q與文檔上下文表示C；獲取融合文檔信息的問題表示Q⁰與融合問題信息的文檔表示C⁰；依據問題表示Q^(t?1)與文檔表示C^t?1，獲取實體圖節點集合E^(t?1)與句子圖節點集合并采用圖注意力網絡對實體圖與句子圖更新，獲取問題表示Q^(t)與文檔表示C^t；對實體圖節點集合E^(t)與句子圖節點集合融合并與文檔表示C^t交互；依據推理更新后上下文表示C′^(t)，獲取問題答案預測結果。本發明提出引入句子節點的圖神經網絡，通過門機制將實體表示與句子表示融合，利用句子級別推理信息彌補實體推理信息的缺失，提升推理閱讀理解任務的性能。

技術領域

本發明屬于自然語言處理領域，尤其涉及一種融合實體和句子推理信息的問題答案提取方法及電子裝置。

背景技術

推理閱讀理解是給定用戶一個問題的多個相關文檔，從文檔中找到問題的答案和相關的證據句子。推理閱讀理解問題需要模型結合問題，對文本語義上的含義進行推理，找到問題的相關證據句子和最終答案。推理閱讀模型整體上可以分為三大類方法。一類是記憶網絡的方法，通過不斷迭代更新推理狀態來模擬推理過程；另一類是基于圖神經網絡的方法，通過圖神經網絡的更新來進行推理；還有一些其他的基于深度學習的方法。其中，基于圖神經網絡的推理閱讀理解模型的框架整體可以分為三個部分：1)語義編碼階段；2)推理建模階段；3)證據和答案預測階段。語義編碼階段將問題、文檔編碼成具有上下文語義信息的文本向量；推理建模階段使用圖神經網絡技術對推理過程進行建模，建立問題和文檔之間的聯系；答案預測階段從得到文本表示中進行相關證據句子和答案片段的預測。針對一些候選段落較多的數據，還需要進行段落選擇，段落選擇階段將從候選段落中選擇相關段落，用作后續語義編碼的輸入。

基于記憶網絡的方法比較典型的有Dynamic Co-attention Network(CaimingXiong,Victor Zhong,Richard Socher；Dynamic Coattention Networks For QuestionAnswering.ICLR,2017)，該方法將模型分為編碼和解碼兩部分。一方面，編碼階段使用了Co-attention機制將問題和文檔進行編碼，得到問題相關的文檔表示；另一方面，在解碼階段，利用答案預測的結果進行迭代，每輪都會根據當前狀態值去預測答案，根據答案預測結果更新當輪狀態值，不斷迭代更新，最后一輪的結果作為最終答案。

基于圖神經網絡的方法比較典型的有DFGN模型(Lin Qiu,Yunxuan Xiao,YanruQu,Hao Zhou,Lei Li,Weinan Zhang,Yong Yu；Dynamically Fused Graph Network forMulti-hop Reasoning.ACL 2019:6140-6150)。DFGN模型首先使用BERT(BidirectionalEncoder Representation from Transformer)對文檔獨立分類，進行段落選擇，語義編碼階段使用BERT得到文檔和問題的上下文表示，推理建模階段采用GAT(Graph AttentionNetworks)的圖神經網絡實現，使用BiLSTM建模圖與上下文表示雙向融合的過程，將圖推理后得到的節點信息融合到上下文表示中，通過不斷迭代這個圖推理的過程來完成圖信息與文本信息的雙向融合，從而預測抽取式答案；此外，DFGN還建模了問題在圖構建過程中的作用，采用Bi-Attention更新問題表示，根據問題表示與節點表示的匹配程度構建動態圖，同時在迭代過程中不斷更新問題表示。