[發(fā)明專利]一種融合圖卷積與翻譯模型的知識圖譜聯(lián)合表示學(xué)習(xí)方法

有效

• 申請?zhí)枺?/td>: 202110430124.3
• 申請日: 2021-04-21
• 公開（公告）號: CN113254663B
• 公開（公告）日: 2022-06-17
• 發(fā)明（設(shè)計）人: 張元鳴;高天宇;肖剛;陸佳煒;程振波
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/33;G06F40/42
• 代理公司: 杭州斯可睿專利事務(wù)所有限公司 33241
• 代理人: 王利強

一種融合圖卷積與翻譯模型的知識圖譜聯(lián)合表示學(xué)習(xí)方法，包括以下步驟：1)根據(jù)知識圖譜構(gòu)建其相對應(yīng)的直接鄰接矩陣和間接鄰接矩陣；2)設(shè)計圖卷積網(wǎng)絡(luò)，包括一個輸入層、兩個隱藏層和一個輸出層，優(yōu)化鄰接點節(jié)點對中心節(jié)點的注意力系數(shù)，通過學(xué)習(xí)直接鄰節(jié)點和間接鄰節(jié)點的結(jié)構(gòu)信息得到節(jié)點的向量表示；3)采用翻譯模型學(xué)習(xí)關(guān)系的語義信息，得到實體和關(guān)系的向量表示；4)將圖卷積網(wǎng)絡(luò)和翻譯模型相融合，通過不斷的迭代學(xué)習(xí)得到知識圖譜的最終向量表示。本發(fā)明能夠同時學(xué)習(xí)知識圖譜的結(jié)構(gòu)信息和關(guān)系語義，提高知識圖譜的向量表示精度。

技術(shù)領(lǐng)域

本發(fā)明涉及知識圖譜、表示學(xué)習(xí)等領(lǐng)域，特別給出了一種融合圖卷積與翻譯模型的知識圖譜聯(lián)合表示學(xué)習(xí)方法。

背景技術(shù)

知識圖譜表示學(xué)習(xí)旨在通過學(xué)習(xí)知識圖譜中的語義特征，在保留原有語義信息的前提下將知識圖譜的實體和關(guān)系從高維離散的空間映射到一個連續(xù)低維的向量空間中，從而使實體和關(guān)系能夠被直接數(shù)值化地計算，提高計算效率。

現(xiàn)有主要的知識圖譜表示學(xué)習(xí)模型包括翻譯模型、語義匹配模型和神經(jīng)網(wǎng)絡(luò)模型。翻譯模型的主要思想是將三元組(h,r,t)中的關(guān)系r解釋為頭實體h到尾實體t的翻譯過程，TransE(Annual Conference on Neural Information Processing Systems，2013)是最具代表性的翻譯模型之一，該模型認為頭實體的嵌入加上關(guān)系的嵌入應(yīng)該等于尾實體在向量空間中的位置，即h+r＝t。語義匹配模型是使用基于語義相似度的得分函數(shù)，通過語義相似度的匹配來衡量事實的合理性，RESCAL(International Conference onInternational Conference on Machine Learning，2011)是最具代表性的語義匹配模型之一，該模型是一種基于三向張量分解的表示學(xué)習(xí)方法，其中成對的實體通過其嵌入的張量積表示。神經(jīng)網(wǎng)絡(luò)模型主要是通過深度神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)知識圖譜的嵌入表示，ConvKB(Conference of the North American Chapter of the Association forComputational Linguistics:Human Language Technologies，2018)通過使用卷積神經(jīng)網(wǎng)絡(luò)來捕獲實體之間的全局關(guān)系和翻譯特性，每個三元組(h,r,t)的嵌入表示是三元組中的實體和關(guān)系的嵌入拼接而成的3列矩陣，然后將這3列矩陣輸入到卷積層，在該卷積層上對矩陣用多個卷積核進行卷積操作以生成不同的特征圖。

然而，現(xiàn)有方法通常只關(guān)注知識圖譜的某一方面特征，如結(jié)構(gòu)特征和關(guān)系特征，不能全面學(xué)習(xí)知識圖譜結(jié)構(gòu)和語義信息，導(dǎo)致知識圖譜表示學(xué)習(xí)結(jié)果準(zhǔn)確度較低。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，提高知識圖譜表示學(xué)習(xí)準(zhǔn)確性，本發(fā)明提出一種融合圖卷積與翻譯模型的知識圖譜聯(lián)合表示學(xué)習(xí)模型，該模型能同時對知識圖譜的結(jié)構(gòu)信息和關(guān)系語義進行學(xué)習(xí)，并采用注意力機制減少學(xué)習(xí)噪聲，得到準(zhǔn)確的知識圖譜表示學(xué)習(xí)結(jié)果。

為了解決技術(shù)問題本發(fā)明提供如下的技術(shù)方案：

一種融合圖卷積與翻譯模型的知識圖譜聯(lián)合表示學(xué)習(xí)方法，包括以下步驟：

1)構(gòu)建知識圖譜鄰接矩陣

在知識圖譜中，根據(jù)節(jié)點之間的鏈接關(guān)系定義兩種鄰接關(guān)系：

定義1：在知識圖譜中，存在直接鏈接關(guān)系的一對節(jié)點互為直接鄰接點，此時兩個節(jié)點間的距離為1，又稱為1跳鄰接點；

定義2：在知識圖譜中，存在通路的一對節(jié)點稱為間接鄰接點，此時兩個節(jié)點間的距離為n，n1，又稱為n跳鄰接點；

假設(shè)一個知識圖譜的節(jié)點數(shù)量為N，構(gòu)建其直接鄰接矩陣：

其中若兩個節(jié)點為直接鄰節(jié)點，則直接鄰接矩陣A中對應(yīng)位置的值為1，否則為0；

同時，構(gòu)建該知識圖譜的間接鄰接矩陣：