[發(fā)明專利]一種圖神經(jīng)網(wǎng)絡(luò)信息增強(qiáng)方法、裝置及設(shè)備

在審

• 申請?zhí)枺?/td>: 202110297502.5
• 申請日: 2021-03-19
• 公開（公告）號: CN112862003A
• 公開（公告）日: 2021-05-28
• 發(fā)明（設(shè)計(jì)）人: 吳嘉婧;夏一鈞;劉潔利;鄭子彬
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 郭帥

本申請公開了一種圖神經(jīng)網(wǎng)絡(luò)信息增強(qiáng)方法、裝置及設(shè)備，方法包括：根據(jù)預(yù)置節(jié)點(diǎn)特征數(shù)據(jù)和預(yù)置節(jié)點(diǎn)鄰接矩陣識別不同節(jié)點(diǎn)參與的網(wǎng)絡(luò)模體；基于網(wǎng)絡(luò)模體，構(gòu)建每個(gè)節(jié)點(diǎn)對應(yīng)的初始模體特征向量；將初始模體特征向量輸入預(yù)置LSTM模型中進(jìn)行聚合處理，得到不同節(jié)點(diǎn)的自身模體特征向量，預(yù)置LSTM模型包括注意力機(jī)制；根據(jù)自身模體特征向量進(jìn)行鄰居節(jié)點(diǎn)模體向量的聚合操作，得到每個(gè)節(jié)點(diǎn)的目標(biāo)模體特征向量；融合目標(biāo)模體特征向量和初始節(jié)點(diǎn)特征向量，得到增強(qiáng)特征向量。本申請能夠解決現(xiàn)有技術(shù)忽略了網(wǎng)絡(luò)節(jié)點(diǎn)之間因交互模式不同產(chǎn)生的豐富結(jié)構(gòu)信息，導(dǎo)致圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特征信息缺乏代表性的技術(shù)問題。

技術(shù)領(lǐng)域

本申請涉及圖神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種圖神經(jīng)網(wǎng)絡(luò)信息增強(qiáng)方法、裝置及設(shè)備。

背景技術(shù)

圖神經(jīng)網(wǎng)絡(luò)(GraphNeural Networks，GNN)是基于深度學(xué)習(xí)來處理圖信息的一類方法，由于其具有較好的性能以及可解釋性，它被越來越廣泛地用于圖結(jié)構(gòu)數(shù)據(jù)的分析。在圖神經(jīng)網(wǎng)絡(luò)中，節(jié)點(diǎn)之間的信息傳遞具有不同的方式，基于此，圖神經(jīng)網(wǎng)絡(luò)可以大致分為圖卷積網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)、門控圖神經(jīng)網(wǎng)絡(luò)以及殘差連接圖神經(jīng)網(wǎng)絡(luò)這4個(gè)類別。在這些圖神經(jīng)網(wǎng)絡(luò)中，通常只考慮當(dāng)前節(jié)點(diǎn)和其他節(jié)點(diǎn)的二元交互模式，即相連或不相連。但實(shí)際上，節(jié)點(diǎn)之間還可能構(gòu)成一些小的結(jié)構(gòu)，即網(wǎng)絡(luò)中高頻出現(xiàn)的子圖結(jié)構(gòu)，也稱為網(wǎng)絡(luò)模體。

現(xiàn)有圖神經(jīng)網(wǎng)絡(luò)模型僅學(xué)習(xí)節(jié)點(diǎn)低維特征向量，忽略了節(jié)點(diǎn)之間因不同的交互模式產(chǎn)生更豐富的高階信息，使得圖神經(jīng)網(wǎng)絡(luò)無法學(xué)習(xí)到更具代表性的特征信息。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N圖神經(jīng)網(wǎng)絡(luò)信息增強(qiáng)方法、裝置及設(shè)備，用于解決現(xiàn)有技術(shù)忽略了網(wǎng)絡(luò)節(jié)點(diǎn)之間因交互模式不同產(chǎn)生的豐富信息，導(dǎo)致圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特征信息缺乏代表性的技術(shù)問題。

有鑒于此，本申請第一方面提供了一種圖神經(jīng)網(wǎng)絡(luò)信息增強(qiáng)方法，包括：

根據(jù)預(yù)置節(jié)點(diǎn)特征數(shù)據(jù)和預(yù)置節(jié)點(diǎn)鄰接矩陣識別不同節(jié)點(diǎn)參與的網(wǎng)絡(luò)模體；

基于所述網(wǎng)絡(luò)模體，構(gòu)建每個(gè)節(jié)點(diǎn)對應(yīng)的初始模體特征向量；

將所述初始模體特征向量輸入預(yù)置LSTM模型中進(jìn)行聚合處理，得到不同節(jié)點(diǎn)的自身模體特征向量，所述預(yù)置LSTM模型包括注意力機(jī)制；

根據(jù)所述自身模體特征向量進(jìn)行鄰居節(jié)點(diǎn)模體向量的聚合操作，得到每個(gè)節(jié)點(diǎn)的目標(biāo)模體特征向量；

融合所述目標(biāo)模體特征向量和初始節(jié)點(diǎn)特征向量，得到增強(qiáng)特征向量。

可選的，所述根據(jù)預(yù)置節(jié)點(diǎn)特征數(shù)據(jù)和預(yù)置節(jié)點(diǎn)鄰接矩陣識別不同節(jié)點(diǎn)參與的網(wǎng)絡(luò)模體，之前還包括：

獲取預(yù)置神經(jīng)網(wǎng)絡(luò)模型中所有節(jié)點(diǎn)的預(yù)置節(jié)點(diǎn)特征數(shù)據(jù)和預(yù)置節(jié)點(diǎn)鄰接矩陣。

可選的，所述初始節(jié)點(diǎn)特征向量由所述預(yù)置神經(jīng)網(wǎng)絡(luò)模型進(jìn)行特征學(xué)習(xí)得到。

可選的，所述將所述初始模體特征向量輸入預(yù)置LSTM模型中進(jìn)行聚合處理，得到不同節(jié)點(diǎn)的自身模體特征向量，包括：

將所述初始模體特征向量輸入所述預(yù)置LSTM模型的LSTM網(wǎng)絡(luò)中進(jìn)行特征學(xué)習(xí)，得到隱藏層特征向量；

通過基于注意力機(jī)制的網(wǎng)絡(luò)層將所述隱藏層特征向量聚合為自身模體特征向量。

可選的，所述融合所述目標(biāo)模體特征向量和初始節(jié)點(diǎn)特征向量，得到增強(qiáng)特征向量，包括：

基于預(yù)置融合公式，融合所述目標(biāo)模體特征向量和初始節(jié)點(diǎn)特征向量，得到增強(qiáng)特征向量，所述預(yù)置融合公式為：

H_output＝W₁H_i⊙[1-σ((W₂H_i+b_f)⊙H′_i)]+H′_i；