[發明專利]一種基于多模態表示學習的知識庫補全方法

有效

• 申請號: 202011159918.2
• 申請日: 2020-10-26
• 公開（公告）號: CN112348191B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 汪璟玢;蘇華
• 申請（專利權）人: 福州大學
• 主分類號: G06N5/02
• 分類號: G06N5/02
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學俊

1.一種基于多模態表示學習的知識庫補全方法，其特征在于：包括以下步驟：

步驟S1：給定知識庫KB，所述KB包括已知的知識集合K₁＝(E,R,T)，即知識庫中顯式存儲的三元組和未知的知識集合K₂＝(E,R,T')；即需要補全出的知識集合；對知識庫中的數據進行數據預處理；知識庫補全的任務就是用已知的知識K₁推導出未知的知識K₂；

步驟S2：建立知識庫補全模型ConvAt：對步驟S1中獲取的數據首先生成頭實體和尾實體的多模態表示；然后將頭實體的多模態表示、關系的結構特征向量和尾實體的多模態表示按列拼接后，分別通過卷積神經網絡模塊、通道注意力模塊M_C和空間注意力模塊M_S處理，最后與一個權重矩陣相乘得到三元組(h,r,t)的評分；

步驟S3：使用損失函數對步驟S2中的補全模型進行訓練，并對訓練后的模型進行驗證，最后實現知識庫補全；

所述步驟S2具體包括以下步驟：

步驟S21:利用步驟S1中獲取的實體的結構特征向量、文本特征向量和圖像特征向量，生成實體的多模態表示，即頭實體的多模態表示h_multi和尾實體的多模態表示t_multi；

步驟S22：將頭實體的多模態表示h_multi、關系的結構特征向量r_s和尾實體的多模態表示t_multi按列拼接后，輸入到卷積神經網絡模塊進行處理得到特征圖V；

步驟S23：將特征圖V輸入到通道注意力模塊M_C，用以獲得每張特征圖的權重M_C(V)；將得到的特征圖權重M_C(V)和輸入的原始特征圖V進行元素乘操作得到特征圖L₁；

步驟S24：將特征圖L₁作為空間注意力模塊M_S的輸入，用以計算特征圖不同空間位置的權重M_s(L₁)；將得到的特征圖空間位置權重M_s(L₁)和特征圖L₁進行按元素乘操作，得到特征圖L₂；

步驟S25：將帶權重的特征圖L₂與原始特征圖V相加，將相加后的特征圖連接成一個高度為3·M·τ,寬度為1的特征向量，然后與一個權重矩陣點積,得到三元組(h,r,t)的評分，評分的計算公式為：

所述步驟S21的具體內容為：

給定一個三元組(h,r,t)，其中h表示頭實體，r表示關系，t表示尾實體；一個三元組也稱為一個知識或事實；將三元組使用結構特征向量進行初始化，即把三元組映射到M維空間，得到矩陣然后通過實體的多模態表示方式，獲得頭實體的多模態表示h_multi和尾實體的多模態表示t_multi；

所述步驟S22的具體內容為：

將頭實體的多模態表示h_multi、關系的結構特征向量r_s和尾實體的多模態表示t_multi按列進行拼接得到矩陣為了捕獲矩陣A的邊緣信息，對矩陣的左右邊界進行填充0操作,得到矩陣A'；使用大小為1×3的過濾器用以獲得頭實體、關系和尾實體在相同維度下的特征；經過卷積后獲得特征圖V；過濾器的數量為τ∈{64,128,256}，對于第K∈{1,2,3,...,τ-1,τ}個過濾器會生成特征圖V^k，其第i行第j列的特征計算過程如(1)所示：

其中表示第k個過濾器的第m行第n列，A'為填充后的矩陣，A'_i,j表示矩陣的第i行第j列，b為偏參，f(.)為激活函數，這里使用RELU；

所述步驟S23的具體內容為：

首先將特征圖V分別通過平均池化和最大池化操作來聚合特征圖的空間信息；然后將平均池化聚合特征圖的空間信息和最大池化聚合特征圖的空間信息分別經過具有一個隱藏層的多層感知機MLP，感知機隱藏層的神經元個數為τ/q，其中q＝16為縮小比例；使用元素求和來合并兩個MLP輸出的特征向量，再經過sigmoid層，得到每張特征圖的權重M_C(V)；最后將得到的權重M_C(V)和輸入的特征圖V進行元素乘操作，得到特征圖L₁；通道注意力的計算公式如(2)～(3)所示：

其中，W_aout、W_ahidden、W_mout和W_mhidden為多層感知機MLP的權重參數矩陣，表示元素乘法操作，f(.)為sigmoid函數；

所述步驟S24的具體內容為：

將L₁作為空間注意力模塊M_S的輸入，分別在通道維度上進行平均池化和最大池化來聚合特征圖的通道信息；然后將平均池化后得到的特征和最大池化后得到特征按通道維度進行連接操作，得到一個高度為M，寬度為3，通道數為2的特征圖；之后使用單個大小為1×2的卷積核進行卷積，生成的特征圖與輸入的特征圖L₁在空間維度上保持一致；最后經過一個sigmoid層，得到空間位置的權重M_S(L₁)；將空間位置權重M_S(L₁)與輸入特征圖L₁進行元素乘操作，得到特征圖L₂；計算公式如(4)～(5)所示：

M_s(L₁)＝f(convolve[reduce_mean(L₁)；reduce_max(L₁)]) (4)

其中[；]為連接操作，f(.)為sigmoid函數；

所述步驟S25的具體內容為：

將帶權值的特征圖L₂與原始特征圖V相加；將相加后的特征圖連接成一個高度為3·M·τ,寬度為1的特征向量，然后與一個權重矩陣點積,得到三元組(h,r,t)的評分；形式上，將ConvAT的評分函數F定義為公式(6)：