[發明專利]基于線索的離散推理方法及系統

在審

• 申請號: 202210059201.3
• 申請日: 2022-01-19
• 公開（公告）號: CN114510941A
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 譚元濤;張太平
• 申請（專利權）人: 重慶大學
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/211;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 重慶雙馬智翔專利代理事務所(普通合伙) 50241
• 代理人: 顧曉玲

本發明屬于機器閱讀理解技術領域，具體公開了一種基于線索的離散推理方法及系統，該系統包括編碼模塊、線索節點預測模塊、推理模塊和預測模塊，編碼模塊用于提取文章和問題的詞向量，線索節點預測模塊用于預測已構建圖中節點是否是線索節點，并在線索節點之間添加邊，推理模塊用于計算問題相關性得分和注意力權重系數，迭代更新節點特征向量，預測模塊用于預測答案類型和答案。采用本技術方案，尋找文章中重要實體和數字，并在構建的關系網絡圖上挖掘推理信息，提高機器閱讀理解中的離散推理能力。

技術領域

本發明屬于機器閱讀理解技術領域，涉及一種基于線索的離散推理方法及系統。

背景技術

機器閱讀理解是自然語言處理的一項重要任務，要求計算機理解給定問題和文章的語義，并根據文章對問題進行解答。在機器閱讀理解中，離散推理能力是一項更高水平的技能，要求機器能夠挖掘問題和文章隱含的推理信息。離散推理通常包括加、減、排序、統計等推理方式。

現有技術中，通過在傳統問答模型QANet的預測層上添加片段抽取、計數、計算表達式的答案類型預測的方式獲得處理離散推理的能力，片段抽取指從文章或問題中抽取文本片段作為答案，計數指預測0至9中的一個數字作為答案，計算表達式指預測文章中數字對應的符號(-，+，0)，再用數字和符號組成表達式，最后運算得到數字答案。還有的方法是構建一個程序集，利用BERT模型從程序集中選擇得分最高的程序并執行它得到答案。或者通過在預先構建的數字數據和文本數據上以生成方式來將數值推理能力注入預訓練模型BERT，最后在數據集上訓練得到一個直接生成數字答案的模型。NumNet首先利用數字大小關系將問題和文章中數字構建一個關系圖，然后利用數字感知的圖神經模型(NumGNN)實現數字比較,解決目前機器閱讀理解模型在數值推理上的不足。QDGAT構建實體與數字之間的異構圖，顯式地建立了相同類型數字間的聯系以及同句子實體和數字間的聯系，并設計了一個問題導向圖注意力網絡來驅動該圖上的多步數值推理。

但現有技術在機器閱讀理解中進行離散推理時，忽視了不同實體和數字單元的作用程度，很少關注這些實體和數字單元之間的關系，沒有充分考慮重要實體和數字對推理的作用。

發明內容

本發明的目的在于提供一種基于線索的離散推理方法及系統，提高機器閱讀理解中的離散推理能力。

為了達到上述目的，本發明的基礎方案為：一種基于線索的離散推理方法，包括如下步驟：

獲取文本，輸入預訓練模型，進行編碼，提取文章和問題的詞向量；

利用命名實體識別工具確定問題和文章中包括的各實體和各數字節點，以及各數字分別對應的類型；

根據詞向量確定問題的特征向量，以及關系網絡圖中各節點的初始特征向量,問題對應詞向量進行平均池化獲得問題特征向量，節點對應詞向量進行平均池化獲得節點初始特征向量；

將節點初始特征向量和問題特征向量輸入線索節點預測器，預測節點是否為線索節點，以實體和數字為節點的異構關系圖為基礎，在線索節點之間添加邊，獲取新的異構關系圖；

基于節點特征向量，計算問題相關性得分，構建所有節點間的相關性矩陣，度量節點間的相關性；

利用相關性矩陣，計算注意力權重系數，調整注意力分布；

根據節點的鄰居節點的注意力權重系數，對各鄰接節點的特征向量進行加權求和，基于求和結果更新特征向量；

預設迭代次數，根據預設數迭代后該節點的更新特征向量，更新問題和文章對應的詞向量特征；

將更新后的問題和文章對應的詞向量輸入分類模型中，得到預測答案類型和答案。