[發明專利]一種融合圖結構和文本信息的自適應知識圖譜表示學習方法

有效

• 申請號: 202011520309.5
• 申請日: 2020-12-21
• 公開（公告）號: CN112632290B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 陳華鈞;朱渝珊
• 申請（專利權）人: 浙江大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/35;G06F40/30;G06F40/295;G06F40/216
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 彭劍

1.一種融合圖結構和文本信息的自適應知識圖譜表示學習方法，其特征在于，包括以下步驟：

(1)對每個目標三元組，分別采樣其頭實體和尾實體的鄰居三元組；

(2)對每個三元組和其頭、尾實體的鄰居三元組，通過語義表示模塊SRM分別計算語義表示；所述的語義表示模塊SRM采用預訓練語言模型bert，并刪除bert模型最后的分類層；

語義表示模塊的輸入是由三元組的頭實體、關系、尾實體的文本描述按序組成的一個句子序列，實體和關系的文本描述之間用分隔符[SEP]間隔，序列首部增加輸出標識[OUT]；

語義表示模塊的輸出是該模塊最后一隱藏層中[OUT]位對應的輸出向量，該輸出向量為對應輸入三元組的語義表示；

目標三元組x的語義表示用公式表示為：

q_x＝SRM(x)

目標三元組x的a個頭、尾實體的鄰居三元組的語義表示分別表示為

對每個訓練樣本來說，會得到1個自身的語義表示，a個頭實體鄰居三元組的語義表示，以及a個尾實體鄰居三元組的語義表示；

(3)將目標三元組頭、尾實體的鄰居三元組的語義表示輸入結構提取模塊SEM，計算目標三元組頭、尾實體的結構表示；所述的結構提取模塊SEM使用兩層的set-transformer；

計算目標三元組頭、尾實體的結構表示的具體過程為：

將步驟(2)中獲得的頭實體鄰居三元組語義表示排成一個序列，再輸入結構提取模塊SEM，最終結構提取模塊的輸出作為頭實體h的結構表示：

將目標三元組尾實體t的a個鄰居三元組的語義表示輸入結構提取模塊SEM，計算得到的尾實體t的結構表示：

(4)將目標三元組自身的語義表示與其頭、尾實體的結構表示拼接，拼接后輸入自適應分類層，用輸出的概率分布與真實標簽計算損失；

(5)基于梯度下降的優化算法對上述模塊進行優化，直至損失值收斂，得到目標三元組自身的語義表示與其頭、尾實體的結構表示的最終拼接結果。

2.根據權利要求1所述的融合圖結構和文本信息的自適應知識圖譜表示學習方法，其特征在于，步驟(1)的具體過程如下：

令G表示一個知識圖譜，E表示該知識圖譜中的實體集合，R表示該知識圖譜中的關系集合；采樣目標三元組x＝(h,r,t)頭、尾實體的鄰居三元組，鄰居三元組包括兩部分：頭實體鄰居三元組和尾實體鄰居三元組，分別記為

其中，a是可設置的超參數，表示采樣的頭、尾實體的鄰居三元組的數目。

3.根據權利要求1所述的融合圖結構和文本信息的自適應知識圖譜表示學習方法，其特征在于，步驟(4)中，所述的自適應分類層是一個權重為的全連接層；其中，H₁是語義表示模塊SRM的隱層大小，H₂是結構提取模塊SEM的隱藏層大小。

4.根據權利要求1所述的融合圖結構和文本信息的自適應知識圖譜表示學習方法，其特征在于，步驟(4)的具體過程為：

將步驟(2)中計算的目標三元組自身的語義表示q_x，和步驟(3)中計算的其頭、尾實體的結構表示拼接：

將輸入自適應分類層，目標三元組x＝(h,r,t)的輸出概率為：

其中，β∈R²為隨機偏移，且

最后，用和真實的三元組標簽y計算交叉熵損失：

其中，當目標三元組x＝(h,r,t)為正樣本時，y＝1，否則y＝0。