[發(fā)明專利]圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與知識圖譜的補(bǔ)全方法、裝置

在審

• 申請?zhí)枺?/td>: 202110790683.5
• 申請日: 2021-07-13
• 公開（公告）號: CN113641829A
• 公開（公告）日: 2021-11-12
• 發(fā)明（設(shè)計(jì)）人: 黃焱暉;卞東海;蔡遠(yuǎn)俊;彭衛(wèi)華;徐偉建
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06N3/04;G06N3/08
• 代理公司: 北京鴻德海業(yè)知識產(chǎn)權(quán)代理有限公司 11412
• 代理人: 田宏賓

1.一種圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，包括：

獲取知識圖譜，根據(jù)所述知識圖譜得到多個訓(xùn)練樣本與多個訓(xùn)練樣本的標(biāo)注結(jié)果，每個訓(xùn)練樣本為由所述知識圖譜中的頭結(jié)點(diǎn)、關(guān)系與尾結(jié)點(diǎn)構(gòu)成的三元組；

得到所述多個訓(xùn)練樣本中頭結(jié)點(diǎn)的頭結(jié)點(diǎn)向量、關(guān)系的關(guān)系向量與尾結(jié)點(diǎn)的尾結(jié)點(diǎn)向量；

構(gòu)建包含語義層、卷積層與輸出層的初始圖神經(jīng)網(wǎng)絡(luò)，所述卷積層用于根據(jù)所述語義層輸出的頭結(jié)點(diǎn)語義向量與關(guān)系語義向量得到卷積向量；

使用多個訓(xùn)練樣本的頭結(jié)點(diǎn)向量、關(guān)系向量、尾結(jié)點(diǎn)向量與多個訓(xùn)練樣本的標(biāo)注結(jié)果對所述初始圖神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)圖神經(jīng)網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述知識圖譜得到多個訓(xùn)練樣本與多個訓(xùn)練樣本的標(biāo)注結(jié)果包括：

將從所述知識圖譜中提取的三元組作為正例訓(xùn)練樣本，將所述正例訓(xùn)練樣本的標(biāo)注結(jié)果設(shè)置為1；

將所述正例訓(xùn)練樣本中的頭結(jié)點(diǎn)、關(guān)系與尾結(jié)點(diǎn)中的至少一個進(jìn)行替換，將替換結(jié)果作為負(fù)例訓(xùn)練樣本，將所述負(fù)例訓(xùn)練樣本的標(biāo)注結(jié)果設(shè)置為0。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述卷積層根據(jù)所述語義層輸出的頭結(jié)點(diǎn)語義向量與關(guān)系語義向量得到卷積向量包括：

將頭結(jié)點(diǎn)語義向量與關(guān)系語義向量進(jìn)行拼接；

對拼接結(jié)果進(jìn)行卷積計(jì)算，得到所述卷積向量。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述使用多個訓(xùn)練樣本的頭結(jié)點(diǎn)向量、關(guān)系向量、尾結(jié)點(diǎn)向量與多個訓(xùn)練樣本的標(biāo)注結(jié)果對所述初始圖神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)圖神經(jīng)網(wǎng)絡(luò)包括：

針對每個訓(xùn)練樣本，將該訓(xùn)練樣本的頭結(jié)點(diǎn)向量、關(guān)系向量與尾結(jié)點(diǎn)向量作為所述語義層的輸入，得到由所述語義層輸出的頭結(jié)點(diǎn)語義向量、關(guān)系語義向量與尾結(jié)點(diǎn)語義向量；

將所述頭結(jié)點(diǎn)語義向量與所述關(guān)系語義向量作為所述卷積層的輸入，得到由所述卷積層輸出的卷積向量；

將所述卷積向量與所述尾結(jié)點(diǎn)語義向量作為所述輸出層的輸入，得到由所述輸出層輸出的相似度結(jié)果；

使用該訓(xùn)練樣本的標(biāo)注結(jié)果與相似度結(jié)果計(jì)算損失函數(shù)值，根據(jù)所述損失函數(shù)值調(diào)整所述初始圖神經(jīng)網(wǎng)絡(luò)的參數(shù)，直至所述初始圖神經(jīng)網(wǎng)絡(luò)收斂，得到所述目標(biāo)圖神經(jīng)網(wǎng)絡(luò)。

5.一種知識圖譜的補(bǔ)全方法，包括：

獲取待補(bǔ)全知識圖譜；

生成頭結(jié)點(diǎn)向量、關(guān)系向量與尾結(jié)點(diǎn)向量；

將所述頭結(jié)點(diǎn)向量、關(guān)系向量與尾結(jié)點(diǎn)向量輸入目標(biāo)圖神經(jīng)網(wǎng)絡(luò)，得到所述目標(biāo)圖神經(jīng)網(wǎng)絡(luò)輸出的相似度結(jié)果；

在確定所述相似度結(jié)果滿足預(yù)設(shè)要求的情況下，根據(jù)所述頭結(jié)點(diǎn)向量、關(guān)系向量、尾結(jié)點(diǎn)向量與所述待補(bǔ)全知識圖譜，完成所述待補(bǔ)全知識圖譜的補(bǔ)全；

其中，所述目標(biāo)圖神經(jīng)網(wǎng)絡(luò)是根據(jù)權(quán)利要求1-4中任一項(xiàng)方法預(yù)先訓(xùn)練得到的。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述生成頭結(jié)點(diǎn)向量、關(guān)系向量與尾結(jié)點(diǎn)向量包括：

隨機(jī)生成維度相同的三個向量；

將隨機(jī)生成的三個向量分別作為所述頭結(jié)點(diǎn)向量、關(guān)系向量與尾結(jié)點(diǎn)向量。

7.根據(jù)權(quán)利要求5所述的方法，其中，所述根據(jù)所述頭結(jié)點(diǎn)向量、關(guān)系向量、尾結(jié)點(diǎn)向量與所述待補(bǔ)全知識圖譜，完成所述待補(bǔ)全知識圖譜的補(bǔ)全包括：

確定所述待補(bǔ)全知識圖譜中對應(yīng)所述頭結(jié)點(diǎn)向量的目標(biāo)頭結(jié)點(diǎn)、對應(yīng)所述關(guān)系向量的目標(biāo)關(guān)系與對應(yīng)所述尾結(jié)點(diǎn)向量的目標(biāo)尾結(jié)點(diǎn)；

將所述目標(biāo)頭結(jié)點(diǎn)、目標(biāo)關(guān)系與目標(biāo)尾結(jié)點(diǎn)構(gòu)成三元組，添加到所述待補(bǔ)全知識圖譜中。