[發明專利]一種基于主題關鍵詞過濾的知識圖譜補全方法

在審

• 申請號: 201910245584.1
• 申請日: 2019-03-28
• 公開（公告）號: CN109977234A
• 公開（公告）日: 2019-07-05
• 發明（設計）人: 印桂生;張載熙;王紅濱
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 哈爾濱市松花江專利商標事務所 23109
• 代理人: 劉冰

1.一種基于主題關鍵詞過濾的知識圖譜補全方法，其特征在于：所述方法包括以下步驟：

步驟1：設定知識圖譜G＝(E,R,T)；其中，E表示知識圖譜實體集合，R表示知識圖譜中關系集合，T表示待補全的三元組集合，

步驟2：將知識圖譜G中不完整的三元組元素構成的集合設定為補全任務集合H，H中的元素分為(h,r,？)和(h,？,t)兩種形式；其中，頭實體h∈E，關系r∈R，尾實體t∈E；

步驟3：使用詞向量工具對待補全的三元組集合T中的h和r進行訓練，針對(h,r,？)任務得到h′和r′，針對(h,？,t)任務得到h′和t′；

步驟4：使用詞向量工具對三元組集合T中實體的實體描述進行處理，得到主題計算詞向量矩陣，包括：頭實體描述的詞向量矩陣D_e和尾實體描述的詞向量矩陣D_t；

步驟5：通過NMF模型分別對頭實體h和尾實體t的實體描述進行處理，獲取頭實體和尾實體的主題向量s_h和s_t；

步驟6：利用步驟5獲取的主題向量s_h和s_t來計算主題語義空間s(s_h,s_t)：

其中，向量s為主題語義空間的法向量；

步驟7：獲取主題計算詞向量矩陣D_e和D_t的注意力分數，再根據注意力分數選取主題詞；并對詞向量矩陣D_e和D_t進行注意力分數的賦值；其中，獲取注意力分數的公式為：

式中，表示行乘，表現對實體描述D的詞向量矩陣的每一行乘以注意力分數；a_i表示實體描述中的第i個單詞的注意力分數；

步驟8：使用卷積神經網絡對步驟7計算得到的注意力分數矩陣attention(D)抽取特征向量；

步驟9：定義損失函數E(h,r,t)以及目標函數l；其中：

損失函數為：E(h,r,t)＝E′_s+E′_d+E_s+E_d；

e＝h+r-t；L₁和L₂都表示范數，L₁/L₂表示L₁或L₂的關系；且

E_d表示e_d表示所具有的能量，e_d＝h_d+r-t_d，h_d是頭實體h實體描述的特征向量，t_d是尾實體t實體描述的特征向量，由步驟8經卷積神經網絡抽取得到

s^T表示s的轉置；

目標函數為：l＝l_embed+μl_topic；且

S′＝{(h′,r,t)}∪{(h,r′,t)}∪{(h,r,t′)}

其中，l_embed表示考慮詞向量的目標函數；l_topic表示考慮主題的目標函數；μ表示超參數，根據訓練結果確定；S表示正確三元組的集合；S′表示通過負采用得到的錯誤三元組的集合；通過隨機地替換正確三元組中的實體和關系構成錯誤的三元組集合；

max(0,γ+E(h,r,t)-E(h′,r′,t′))表示返回兩個量中的較大值；γ為超參數，表示正確三元組得分與錯誤三元組得分之間的間隔距離；

且l_topic的定義如下：

式中，E表示實體集，D_e表示實體e的實體描述所構成的單詞集，c_e,ω表示單詞w出現在實體e的描述的出現次數；s_e表示實體e的描述文本的主題向量；θ表示單詞w的主題分布；整個訓練過程使用隨機梯度下降法進行訓練；

步驟10：將E或R中全部元素作為缺失實體或關系的候選集合，通過負采樣學習錯誤的三元組集合T′；

步驟11：針對H中的每一個元素，將步驟8得到的正確三元組和步驟10得到的錯誤三元組輸入到損失函數，計算相應的得分；

步驟12：通過訓練以調整參數，優化目標函數l以使目標函數值達最小；

步驟13：根據步驟9計算所得的得分對候選實體集合排序并輸出選列表；

重復步驟9～步驟11，直到得到輸出結果。