[發明專利]一種多粒度注意力機制的知識庫問答關系檢測方法及系統

在審

• 申請號: 202010904078.1
• 申請日: 2020-09-01
• 公開（公告）號: CN112100348A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 何儒漢;唐嬌;陳佳;彭濤;張自力;陳常念;劉軍平;胡新榮
• 申請（專利權）人: 武漢紡織大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/30;G06F40/295;G06N3/04
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 楊采良

1.一種多粒度注意力機制的知識庫問答關系檢測方法，應用于客戶端，其特征在于，所述多粒度注意力機制的知識庫問答關系檢測方法包括：

使用Glove算法將問題和候選關系轉換成詞嵌入，從詞級、關系級兩種粒度建立關系表示獲取豐富的關系語義，并引入注意機制實現關系檢測中字符之間的細粒度對齊；

計算問題向量和候選關系向量的語義相似性，語義相似性最高的候選關系所連接的答案即為正確答案。

2.如權利要求1所述的多粒度注意力機制的知識庫問答關系檢測方法，其特征在于，使用Glove算法將問題和候選關系轉換成詞嵌入，從詞級、關系級兩種粒度建立關系表示獲取豐富的關系語義中，包括：將問題中的實體用entity代替轉換為問題模式P，先將每個單詞用Glove預訓練成詞向量表示，再使用一個雙向的GRU網絡對詞向量進行編碼以獲得問題的上下文表示；問題和關系中的單詞具有相同的詞嵌入，問題編碼定義如下：

P＝Bi-GRU([w₁,w₂,w₃,…w_Q])。

3.如權利要求1所述的多粒度注意力機制的知識庫問答關系檢測方法，其特征在于，使用Glove算法將問題和候選關系轉換成詞嵌入，從詞級、關系級兩種粒度建立關系表示獲取豐富的關系語義中，進一步包括：

從單詞級和關系級來進行編碼，對于候選關系R中的每個關系r，使用Glove模型轉換為訓練的詞嵌入，詞級將候選關系中的每一個單詞視為token，單詞級關注詞和短語的信息，不同的詞匹配不同長度的短語，但缺乏相對原始的全局信息；

關系級將整個關系名稱視為token，當將關系名作為單個標記處理時，不能將問題與關系名匹配，關系名匹配問題中較長的短語，關注全局信息；

單詞級輸入的關系為r^w＝{r₁^w，r₂^w，r₃^w}，關系級輸入的關系為r^rel，整個模型輸入關系視為為r＝{r^w，r^rel}；

最后結合一個雙向的GRU網絡表示單詞及上下文，關系的上下文感知表示定義如下：

r＝Bi-GRU([r₁,r₂,r₃,…r_R])。

4.如權利要求1所述的多粒度注意力機制的知識庫問答關系檢測方法，其特征在于，引入注意機制實現關系檢測中字符之間的細粒度對齊中，注意力機制學習問題與關系之間的細粒度交互，關系的每個部分對問題的關注程度不同決定問題如何表示，將注意的程度作為問題中每個單詞的權重；對于候選關系中的每一個關系r_i，問題模式w_i的注意力表示P_i計算如下：

w_ij＝v^T·p_i·W^T·r_j

式中，w_ij代表問題模式中單詞w_i和候選關系中單詞r_j之間的相似度，v和W均是可學習的矩陣，a_i,j是問題中單詞與關系之間的注意權重，代表問題中第i個單詞對關系中第j個單詞的注意力權重。