[發明專利]基于線索的離散推理方法及系統

在審

• 申請號: 202210059201.3
• 申請日: 2022-01-19
• 公開（公告）號: CN114510941A
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 譚元濤;張太平
• 申請（專利權）人: 重慶大學
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/211;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 重慶雙馬智翔專利代理事務所(普通合伙) 50241
• 代理人: 顧曉玲

1.一種基于線索的離散推理方法，其特征在于，包括如下步驟：

獲取文本，輸入預訓練模型，進行編碼，提取文章和問題的詞向量；

利用命名實體識別工具確定問題和文章中包括的各實體和各數字節點，以及各數字分別對應的類型；

根據詞向量確定問題的特征向量，以及關系網絡圖中各節點的初始特征向量,問題對應詞向量進行平均池化獲得問題特征向量，節點對應詞向量進行平均池化獲得節點初始特征向量；

將節點初始特征向量和問題特征向量輸入線索節點預測器，預測節點是否為線索節點，以實體和數字為節點的異構關系圖為基礎，在線索節點之間添加邊，獲取新的異構關系圖；

基于節點特征向量，計算問題相關性得分，構建所有節點間的相關性矩陣，度量節點間的相關性；

利用相關性矩陣，計算注意力權重系數，調整注意力分布；

根據節點的鄰居節點的注意力權重系數，對各鄰接節點的特征向量進行加權求和，基于求和結果更新特征向量；

預設迭代次數，根據預設數迭代后該節點的更新特征向量，更新問題和文章對應的詞向量特征；

將更新后的問題和文章對應的詞向量輸入分類模型中，得到預測答案類型和答案。

2.如權利要求1所述的基于線索的離散推理方法，其特征在于，異構關系圖構建中，所述圖包括實體，數字節點，以及各數字分別對應的類型，數字對應的類型包括日期、時間、百分比、金額、數量、序數和基數。

3.如權利要求1所述的基于線索的離散推理方法，其特征在于，構建基礎異構關系圖的方法為：同一句子中的實體和數字節點之間添加邊；同類型的數字節點之間添加邊。

4.如權利要求1所述的基于線索的離散推理方法，其特征在于，預測線索節點的方法如下：

利用圖節點對應的詞向量的池化特征作為節點的初始化特征向量，問題對應的詞向量的池化特征作為問題的特征向量；

利用遠程監督方法訓練一個線索節點預測器，在線索節點之間添加邊，增加線索節點之間的鄰接關系；

將包含問題相關實體的句子中所有實體和數字對應節點作為線索節點；包含答案的句子中所有實體和數字對應節點作為線索節點；以及能計算得到答案的至多3個數字對應的節點作為線索節點；

使用線索節點預測器預測線索節點，在線索節點之間添加邊，同時將線索分布特征融入節點特征向量：

P_i＝Softmax(MLP(q；h_i))

h_i＝LN(h_i+p_ih_i)

其中，q是問題特征向量，h_i是節點特征向量，MLP()是一個全連接網絡，P_i是節點i是否為線索節點的概率分布，p_i為該節點是線索節點的概率，LN()是一個層標準化。

5.如權利要求1所述的基于線索的離散推理方法，其特征在于，計算問題相關性得分的方法如下：

利用打分函數計算相關性得分，相關性得分越高意味著與問題越相關，計算問題相關性得分公式為：

其中，s_i為相關性得分，h_i是節點特征向量，W_s為可訓練的線性變換矩陣，表示問題特征向量；

兩個節點之間的相似性用節點與問題的相似性進行度量，與問題相似度高的兩節點之間相似度也高，計算兩節點之間的相似性得分，計算公式為：

m_i,j＝sigmoid(s_i+s_j)

利用節點間的相似性得分，構建成一個相關性矩陣，對重要節點的關系進行了建模，m_i,j是節點i與節點j的相似性得分，sigmoid()是一個激活函數。