[發明專利]一種基于動態路由機制的機器閱讀理解網絡模型的建立方法、方法、存儲介質及終端

有效

• 申請號: 201910765132.6
• 申請日: 2019-08-19
• 公開（公告）號: CN110457710B
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 李曉瑜;段藝文;胡孫強;黃海滔;洪磊;鄭德生
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06N3/04
• 代理公司: 成都華風專利事務所(普通合伙) 51223
• 代理人: 張巨箭

本發明公開了一種基于動態路由機制的機器閱讀理解網絡模型、方法、存儲介質及終端，它包括：基礎編碼層：用于完成對輸入文本段落和問題序列的交互匹配式編碼，并最終以向量序列的形式輸出對輸入信息的編碼；路由解碼層：用于接收來自所述基礎編碼層的向量序列，經過多層動態路由層解碼映射成高級語義特征向量并進行適應性的輕微重編碼后輸出；輸出層：將所述動態路由層輸出的高級語義特征向量經過處理得到答案并輸出；通過將動態路由機制引入到機器閱讀理解的深度神經網絡模型中，有效提高了模型對自然語言的理解和推理能力。

技術領域

本發明涉及語言處理技術領域，尤其涉及一種基于動態路由機制的機器閱讀理解網絡模型的建立方法、方法、存儲介質及終端。

背景技術

一般來說，人們在讀完一篇文章之后就會在腦海里形成一定的印象，例如這篇文章講的是什么人，做了什么事情，出現了什么，發生在哪里等等。人們能夠很輕而易舉地歸納出文章中的重點內容。機器閱讀理解的研究就是賦予計算機與人類同等的閱讀能力，即讓計算機閱讀一篇文章，隨后讓計算機解答與文中信息相關的問題。這種對人類而言輕而易舉的能力，對計算機來說卻并非如此。

現目前對于自然語言處理的研究都是基于句子級別的閱讀理解，例如給計算機一句話，理解句子中的主謂賓語、定狀補語，誰做了什么事情等等。但是對于長文本中問題的閱讀和理解一直是研究的一個難點，因為這涉及到句子和上下文之間的連貫性以及邏輯推理等更高維的研究內容，使得目前對這一塊的研究還很空缺。

發明內容

本發明的目的在于克服現有技術的不足，提供一種基于動態路由機制的機器閱讀理解網絡模型的建立方法、方法、存儲介質及終端，填補了目前涉及到句子和上下文之間連貫性以及邏輯推理等更高維研究內容的空缺。

本發明的目的是通過以下技術方案來實現的：一種基于動態路由機制的機器閱讀理解網絡模型的建立方法，它包括：

基礎編碼層：用于完成對輸入文本段落和問題序列的交互匹配式編碼，并最終以向量序列的形式輸出對輸入信息的編碼；

路由解碼層：用于接收來自所述基礎編碼層的向量序列，經過多層動態路由層解碼映射成高級語義特征向量并進行適應性的輕微重編碼后輸出；

輸出層：將所述動態路由層輸出的高級語義特征向量經過處理得到答案并輸出。

所述路由解碼層包括由多個動態路由層以級聯的方式堆疊而成，每個動態路由層包括由一層膠囊網絡層和一層雙向LSTM層組成。

所述膠囊網絡層接收來自所述基礎編碼層的向量序列，并將這些攜帶問題序列和段落交互信息的編碼向量解碼映射成高級語義特征向量；所述雙向LSTM層在閱讀理解所述高級語義特征向量的基礎上對所述高級語義特征向量進行適應性的輕微重編碼。

一種基于動態路由機制的機器閱讀理解方法，所述方法包括以下內容：

路由解碼層中最底層的膠囊網絡層接收來自基礎編碼層的向量序列，并將這些攜帶問題序列和段落交互信息的編碼向量解碼映射成高級語義特征向量；

雙向LSTM層在閱讀理解所有高級語義特征向量的基礎上對高級語義特征向量進行適應性的輕微重編碼；

重復步驟二和步驟三直到所有高級語義特征向量被映射提取以及輕微重編碼后輸入到輸出層。

還包括輸入文本段落和問題序列到基礎編碼層進行交互匹配式編碼并輸出編碼后的向量序列到所述膠囊網絡層的步驟。

還包括輸出層對路由解碼層的輸出經過處理后輸出答案的起始位置和結束位置的步驟。

所述膠囊網絡層將攜帶問題序列和段落交互信息的編碼向量解碼映射成高級語義特征向量的具體步驟如下：

將經過編碼后的向量u_i進行仿射變換，得到仿射變換后的結果