[發(fā)明專利]一種基于拓?fù)涓兄谋颈碚鞯木W(wǎng)絡(luò)嵌入學(xué)習(xí)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110287783.6
• 申請(qǐng)日: 2021-03-17
• 公開(kāi)（公告）號(hào): CN113111224B
• 公開(kāi)（公告）日: 2023-08-18
• 發(fā)明（設(shè)計(jì)）人: 蘇勤亮;陳佳星
• 申請(qǐng)（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): G06F16/901
• 分類號(hào): G06F16/901;G06F16/906;G06F16/34;G06N3/042
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 劉俊

1.一種基于拓?fù)涓兄谋颈碚鞯木W(wǎng)絡(luò)嵌入學(xué)習(xí)方法，其特征在于，包括以下步驟：

S1：使用圖神經(jīng)網(wǎng)絡(luò)提取文本網(wǎng)絡(luò)中結(jié)點(diǎn)的局部拓?fù)浣Y(jié)構(gòu)信息，獲取所有結(jié)點(diǎn)的拓?fù)浣Y(jié)構(gòu)表征；

S2：將S1得到的結(jié)點(diǎn)的拓?fù)浣Y(jié)構(gòu)表征輸入到濾波器生成模塊，生成拓?fù)涓兄臑V波器，并將得到的拓?fù)涓兄獮V波器和文本輸入到卷積神經(jīng)網(wǎng)絡(luò)模塊中，生成拓?fù)涓兄奈谋颈碚鳎?/p>

S3：通過(guò)已有的網(wǎng)絡(luò)嵌入模型獲取上下文感知的文本表征，與S2中得到的拓?fù)涓兄奈谋颈碚鹘Y(jié)合起來(lái)，得到網(wǎng)絡(luò)結(jié)點(diǎn)最終的文本表征；將拓?fù)浣Y(jié)構(gòu)表征和文本表征結(jié)合起來(lái)，得到最終的網(wǎng)絡(luò)結(jié)點(diǎn)表征；

所述步驟S1的具體過(guò)程包括：

首先為網(wǎng)絡(luò)中的每個(gè)結(jié)點(diǎn)隨機(jī)初始化一個(gè)拓?fù)浣Y(jié)構(gòu)表征，結(jié)點(diǎn)的初始結(jié)構(gòu)表征用表示，根據(jù)輸入的網(wǎng)絡(luò)的鄰接矩陣，從結(jié)點(diǎn)的所有鄰居結(jié)點(diǎn)中隨機(jī)采樣出多跳鄰居，每一跳的鄰居數(shù)量是固定的，對(duì)結(jié)點(diǎn)采樣跳的鄰居后，獲得關(guān)于結(jié)點(diǎn)的局部拓?fù)鋱D；

所述步驟S1的具體過(guò)程還包括：

采樣得到結(jié)點(diǎn)的局部拓?fù)鋱D后，再利用圖神經(jīng)網(wǎng)絡(luò)一層一層地由外往內(nèi)學(xué)習(xí)結(jié)點(diǎn)的結(jié)構(gòu)表征，如公式（1）（2）：

其中，?是圖神經(jīng)網(wǎng)絡(luò)的參數(shù)；表示第個(gè)結(jié)點(diǎn)在層的鄰居；用于將所有鄰居結(jié)點(diǎn)的向量表征聚集起來(lái)，構(gòu)成一個(gè)矩陣；?是激活函數(shù)；

所述步驟S1的具體過(guò)程還包括：

經(jīng)過(guò)層后得到結(jié)點(diǎn)的局部拓?fù)浣Y(jié)構(gòu)表征，如公式（3）所示：

（3）；

所述步驟S2的具體過(guò)程包括：

將步驟S1得到的拓?fù)浣Y(jié)構(gòu)表征輸入到一個(gè)濾波器生成模塊，生成拓?fù)涓兄臑V波器，如公式（4）：

（4）

其中，?表示反卷積神經(jīng)網(wǎng)絡(luò)；

所述步驟S2的具體過(guò)程還包括：將輸入文本和拓?fù)涓兄獮V波器一起輸入到卷積神經(jīng)網(wǎng)絡(luò)中，并通過(guò)非線性變換得到基于局部拓?fù)浣Y(jié)構(gòu)信息的文本表征，稱為拓?fù)涓兄奈谋颈碚鳎绻剑?）（6）：

其中，?是卷積神經(jīng)網(wǎng)絡(luò)，b是卷積層中的偏置項(xiàng)；是非線性激活函數(shù)；代表平均池化操作；

所述步驟S3的具體過(guò)程包括：

將文本輸入到已有的上下文感知的網(wǎng)絡(luò)嵌入模型中，獲取上下文本感知的文本表征；

所述步驟S3的具體過(guò)程還包括：

將上下文本感知的文本表征與步驟S2中得到的拓?fù)涓兄奈谋颈碚鬟M(jìn)行線性加權(quán)，得到網(wǎng)絡(luò)結(jié)點(diǎn)最終的文本表征，如公式（7）：

（7）

其中，?是模型的一個(gè)參數(shù)；

所述步驟S3的具體過(guò)程還包括：

將步驟S1得到的拓?fù)浣Y(jié)構(gòu)表征和步驟S3得到的文本表征拼接起來(lái)，獲取最終的網(wǎng)絡(luò)結(jié)點(diǎn)表征，如公式（8）：

（8）。

2.根據(jù)權(quán)利要求1所述的基于拓?fù)涓兄谋颈碚鞯木W(wǎng)絡(luò)嵌入學(xué)習(xí)方法，其特征在于，?是一個(gè)可學(xué)習(xí)的參數(shù)，與模型中的其他參數(shù)一起在訓(xùn)練過(guò)程中學(xué)習(xí)得到。