[發明專利]一種考慮句法結構的機器閱讀理解方法及裝置

在審

• 申請號: 202110706956.3
• 申請日: 2021-06-24
• 公開（公告）號: CN113326692A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 方凡;周興發;饒璐;譚斌;楊蘭;李煥;孫銳;展華益
• 申請（專利權）人: 四川啟睿克科技有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/151;G06N3/04;G06N3/08
• 代理公司: 四川省成都市天策商標專利事務所 51213
• 代理人: 劉興亮

本發明公開了一種考慮句法結構的機器閱讀理解方法及裝置，利用依存句法分析將文本的依存句法信息引入到文本編碼中，使得閱讀理解模型的答案生成過程能夠考慮句法結構信息，提升機器閱讀理解的效果。

技術領域

本發明涉及自然語言處理技術領域，尤其涉及一種考慮句法結構的機器閱讀理解方法及裝置。

背景技術

作為自然語言處理的研究分支之一，同時也是其核心任務之一的機器閱讀理解，近年來不斷受到研究者的關注。機器閱讀理解技術使計算機能夠在文本中快速尋找到有價值的答案，從而降低人們獲取信息的成本，是智能系統的關鍵技術之一。

機器閱讀理解的任務可以形式化地表述為：給定一段文本P，以P為上下文提出一個問題Q和答案A，要求機器(模型)學習一個映射函數F來得到問題Q的正確答案A，即F(P,Q)＝A。早期機器閱讀理解任務主要依靠知識庫等技術，隨著深度學習的發展以及各種機器閱讀理解數據集的不斷涌現，目前的主流機器閱讀理解方法已轉向了基于神經網絡的模型。現有的機器閱讀理解模型，大多是基于循環神經網絡(Recurrent Neural Network,RNN)、雙向Transformer(一種基于自注意力機制的網絡模型)等技術，這類神經網絡把閱讀理解的上下文視為一段具有順序結構的序列，忽略了文本的語法結構等信息，這與人類理解文本的推理過程不一致，導致模型閱讀理解的效果受到影響。本發明提出一種考慮句法結構的機器閱讀理解方法及裝置，利用依存句法分析將文本的依存句法信息引入到文本編碼中，使得閱讀理解模型的答案生成過程能夠考慮句法結構信息，提升機器閱讀理解的效果。

發明內容

本發明的目的就在于為了解決上述問題而提供一種考慮句法結構的機器閱讀理解方法及裝置，本發明通過考慮文本的語法結構信息來提升機器閱讀理解的效果。

本發明通過以下技術方案來實現上述目的：

一種考慮句法結構的機器閱讀理解方法及裝置，包括以下步驟：

A、獲取語義編碼序列：把機器閱讀理解的文本和問題轉化為詞向量，同時引入額外特征，將額外特征轉化為向量，并與文本和問題的詞向量進行拼接，得到文本和問題的語義編碼；

B、文本和問題的交互：利用注意力機制對文本和問題進行交互，為文本編碼引入問題信息，得到文本的交互編碼；

C、構建依存句法圖：利用依存句法分析獲取文本每個句子的依存句法樹，進而構建整個文本的依存句法圖；

D、構建文本的圖表征：基于文本的依存句法圖，結合文本的交互編碼，構建文本的依存句法圖的圖表征；

E、生成答案：根據文本的依存句法圖表征生成答案。

進一步地，步驟A中文本和問題的詞向量，包括：隨機初始化的詞向量，或基于深度學習的語言模型訓練得到的詞向量。

進一步地，步驟A中引入的額外特征，包括：詞性標簽、實體標簽、問題類型特征。

進一步地，步驟A中額外特征的向量化方法，包括：通過隨機初始化的嵌入層進行映射得到特征向量，嵌入層的參數會在訓練過程中不斷優化。

進一步地，步驟B中文本和問題的交互方法，包括：對步驟A中得到的文本和問題的語義編碼進行基于注意力機制的交互對齊方法，注意力可以是單向或雙向注意力，文本和問題的交互可以重復多次。

進一步地，步驟C中對句子進行依存句法分析的方法，包括：基于規則的方法，基于統計的方法，或基于深度學習的方法。

進一步地，步驟C中構建整個文本的依存句法圖的方法包括：多棵依存句法樹合并為依存句法圖。

進一步地，步驟D中基于依存句法圖構建文本圖表征的方法，包括：利用自回歸模型迭代計算文本圖表征的方法，文本圖表征融合的方法。