[發明專利]融合實體鄰居的知識補全方法及系統

有效

• 申請號: 202111158954.1
• 申請日: 2021-09-30
• 公開（公告）號: CN113836319B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 汪璟玢;雷晶
• 申請（專利權）人: 福州大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F18/25;G06N3/0464;G06N3/045;G06N3/044;G06N3/048;G06N3/08;G06N5/02
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 張燈燦;蔡學俊

1.一種融合實體鄰居的知識補全方法，其特征在于，構建基于Triplet注意力的循環卷積神經網絡模型CCTA，所述CCTA模型包括實體鄰居生成模塊、實體關系交互模塊、基于Triplet注意力的循環卷積神經網絡模塊和評分函數，所述CCTA模型按如下方法進行知識補全：首先，通過實體鄰居生成模塊從文本描述和拓撲鄰居中收集得到實體鄰居并對其進行編碼，結合實體名稱信息進一步增強語義，生成實體的融合表示；然后，通過實體關系交互模塊將得到的融合表示和關系表示進行特征重排和特征重塑；而后，基于Triplet注意力的循環卷積神經網絡模塊，使用Triplet注意力捕獲跨維度交互來計算注意力，再通過循環卷積操作提取實體和關系的交互特征，得到特征圖；最后，通過評分函數將特征映射拉平，再通過一個全連接層映射到實體嵌入維度，與尾實體矩陣進行點積歸一化后得到三元組的評分；

所述實體鄰居生成模塊包括實體鄰居生成與編碼模塊、實體名稱與結構編碼模塊以及融合表示生成模塊；

在實體鄰居生成與編碼模塊中，將拓撲鄰居集合和語義鄰居集合相結合，作為實體的實體鄰居；

對于每個實體，從兩個鄰居集合中選擇k個鄰居作為最終的實體鄰居，具體的選擇機制如下：給定一個實體e，首先選擇同時出現在兩個鄰居集合的鄰居，即兩個集合的交集；然后，通過隨機采樣來填充其余的實體鄰居；最后，得到包含k個鄰居的實體鄰居集合N'(e)＝{n₁,n₂,...,n_k}；具體過程如公式(1)-(3)所示：

N_∩＝N^text(e)∩N^stru(e)?(1)

N'(e)＝N_∩∪N_sample?(3)

通過所述選擇機制，得到實體e的實體鄰居N'(e)＝{n₁,n₂,...,n_k}；為了編碼實體鄰居，先將實體鄰居進行初始化，使用一個維數為d的嵌入層emb，得到實體鄰居的初始表示：

將得到的實體鄰居的初始表示序列輸入到L層的Transformer中，對初始表示序列進行編碼：

其中，是第l層的隱層狀態；Transformer采用多頭自注意力機制，形成多個子空間，以讓模型去關注不同方面的信息；將第L層的隱層狀態求平均，得到實體的鄰居表示e_neigh：

其中，σ是激活函數，表示Transformer編碼器第L層的隱層狀態；

所述實體鄰居生成模塊通過實體的名稱單詞來進一步增強實體表示；在實體名稱與結構編碼模塊中，對于實體e的名稱單詞序列Word(e)＝{word₁,word₂,...,word_u}中的每個單詞，用word2vec進行初始化，然后對詞向量求平均，再經過一個全連接層降維到實體空間得到實體的名稱表示e_name：

其中，W₁和b₁表示全連接層的權重矩陣和偏置；

然后，將實體的名稱表示和實體的結構表示相加，得到實體的名稱結構表示e_{name_stru}：

e_{name_stru}＝e_name+e_stru????(8)

在融合表示生成模塊中，將得到的鄰居表示和名稱結構表示進行融合得到實體的融合表示，包括門控融合、相加融合以及連接映射融合三種融合方式；

在門控融合中，考慮到鄰居表示和名稱結構表示對實體e的貢獻度可能不同，引入一個門控機制，實體的融合表示定義為：

e_add＝α·e_neigh+(1-α)·e_{name_srtu}????(9)

其中，α是可學習的參數，用來調整兩部分的比例；

在相加融合中，將鄰居表示和名稱結構表示直接相加，實體的融合表示定義為：

e_add＝e_neigh+e_{name_srtu}????(10)

在連接映射融合中，將鄰居表示和名稱結構表示進行拼接操作，然后將拼接后的表示經過全連接層，映射到與實體表示相同的維度空間，實體的融合表示定義為：

e_add＝W₂[e_neigh；e_{name_srtu}]+b₂????(11)

其中，[；]為拼接操作，W₂為映射矩陣，b₂是偏置；

假設e_add＝(a₁,...,a_d),r＝(b₁,...,b_d)分別為實體融合表示和關系表示，其中a_i,表示組件，所述實體關系交互模塊通過以下兩個步驟來實現實體和關系的充分交互：

1)特征重排；對于融合表示e_add和關系表示r，分別生成對應的隨機排列；限制生成的隨機排列個數為C個，用集合表示，P_i表示集合P中第i個元素；

2)特征重塑；定義重塑函數φ:將e_add和r轉化為矩陣其中p×q＝2d，使兩個相鄰的組件經過重塑后不再相鄰；將重塑函數φ作用于每個P_i(i＝1,2,...,C)，然后將φ(P_i)進行拼接得到張量X＝[φ(P₁)；φ(P₂)；...；φ(P_C)]，其中[；]是拼接操作；

所述基于Triplet注意力的循環卷積神經網絡模塊的實現流程如下：

對于輸入張量將它傳遞給Triplet注意力模塊中的三個分支，三個分支的具體運算如下：

在第一個分支中，捕獲空間H維度和通道C維度之間的跨通道交互；首先X沿著H軸逆時針旋轉90°，得到然后在W維度上進行Z-pool操作，之后進行卷積操作，經過Sigmoid激活函數生成注意力權重；將得到的注意力權重與進行點乘，然后沿著H軸順時針旋轉90°得到以保持X的原始輸入狀態；第一個分支的計算過程表示為：

其中，H^-表示沿H軸逆時針旋轉90°，H⁺表示沿H軸順時針旋轉90°，w₁表示卷積核，*表示卷積操作，σ表示激活函數；

在第二個分支中，捕獲通道C維度和空間W維度的相互作用；首先X沿著W軸逆時針旋轉90°，得到接著在H維度上進行Z-pool操作，之后進行卷積操作，經過Sigmoid激活函數生成注意力權重；將得到的注意力權重與進行點乘，然后沿著W軸順時針旋轉90°得到以保持X的原始輸入狀態；第二個分支的計算過程表示為：

其中，W^-表示沿W軸逆時針旋轉90°，W⁺表示沿W軸順時針旋轉90°，w₂表示卷積核，*表示卷積操作，σ表示激活函數；

在第三個分支中，輸入張量X通過Z-pool操作，之后進行卷積操作，經過Sigmoid激活函數產生注意力權重，將注意力權重與X進行點乘得到最終的張量X^*：

X^*＝X·σ(w₃*(Z-pool(X)))?????(15)

其中，w₃表示卷積核，*表示卷積操作，σ表示激活函數；

然后對三個分支的張量通過簡單的平均得到張量X'：

最后將X'輸入到循環卷積神經網絡中進行卷積操作；卷積完之后得到特征映射其中，表示循環卷積操作，w表示卷積核，σ表示ReLU激活函數；

將得到的特征圖V經過拉平操作變成向量I＝vec(V)，然后經過一個全連接層，將向量I映射到實體嵌入維度，得到輸出向量P，再與尾實體矩陣進行點積，得到三元組的得分；所述評分函數定義為：

f(h,r,t)＝σ(I·W₃+b₃)·e_t????(17)

其中，σ表示ReLU激活函數，W₃表示全連接層的變換矩陣，b₃是偏置；

然后，使用sigmoid處理得分函數，將其映射到0-1區間，得到候選實體的概率分布p：

p＝sigmoid(f(h,r,t))????(18)

采用交叉熵損失函數訓練模型，損失函數定義如下：

其中，N是實體個數，G是正確的三元組集合，G'是不正確的三元組集合。