[發(fā)明專利]一種基于遷移學(xué)習(xí)和深度學(xué)習(xí)融合的半監(jiān)督圖表示學(xué)習(xí)方法及裝置

在審

• 申請?zhí)枺?/td>: 202110261429.6
• 申請日: 2021-03-10
• 公開（公告）號: CN112990295A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計）人: 劉冰;馬永征;李洪濤;楊學(xué)
• 申請（專利權(quán)）人: 中國互聯(lián)網(wǎng)絡(luò)信息中心
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06N3/04
• 代理公司: 北京君尚知識產(chǎn)權(quán)代理有限公司 11200
• 代理人: 邱曉鋒

1.一種基于遷移學(xué)習(xí)和深度學(xué)習(xí)融合的半監(jiān)督圖表示學(xué)習(xí)方法，其特征在于，包括以下步驟：

通過全局層面和局部層面的兩個子任務(wù)預(yù)訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)模型，以從未標(biāo)注的數(shù)據(jù)中學(xué)習(xí)輸入數(shù)據(jù)的通用表征；

將預(yù)訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型遷移到目標(biāo)任務(wù)的訓(xùn)練過程中，在預(yù)訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型之后添加一個與目標(biāo)任務(wù)相關(guān)的輸出層，并利用有標(biāo)簽數(shù)據(jù)對預(yù)訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進行微調(diào)，得到最終的圖神經(jīng)網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述全局層面和局部層面的兩個子任務(wù)，包括：

中心性評估子任務(wù)，用以獲得反映各節(jié)點在全局中重要性的圖節(jié)點嵌入表示；

上下文預(yù)測子任務(wù)，用以將具有相似鄰域的節(jié)點映射到相近的嵌入表示空間中，使學(xué)習(xí)到的節(jié)點嵌入表示能夠捕獲其鄰域信息。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述中心性評估子任務(wù)對輸入的原始圖中每個節(jié)點從不同粒度評估每個節(jié)點的中心性得分，構(gòu)成輸入節(jié)點的本地特征向量，并訓(xùn)練圖自編碼器模型，根據(jù)節(jié)點位于圖中的結(jié)構(gòu)角色來衡量節(jié)點在全局網(wǎng)絡(luò)中的重要性，以學(xué)習(xí)到圖中每個節(jié)點在全局中起到的作用，獲得圖節(jié)點嵌入表示提供給下游目標(biāo)任務(wù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述中心性評估子任務(wù)對輸入的原始圖中每個節(jié)點計算特征向量中心性、介數(shù)中心性、緊密中心性和度中心性，從四個不同粒度評估每個節(jié)點的中心性得分。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述上下文預(yù)測子任務(wù)在全局網(wǎng)絡(luò)圖中使用上下文子圖來預(yù)測各節(jié)點為中心的局部圖結(jié)構(gòu)，并利用圖自編碼器進行預(yù)訓(xùn)練，分別采用節(jié)點的k-hop子結(jié)構(gòu)和對應(yīng)的上下文子特征對節(jié)點編碼，將出現(xiàn)在相似結(jié)構(gòu)上下文中的節(jié)點映射到鄰近的嵌入，將上下文編碼成固定向量。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在預(yù)訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型之后添加一個與目標(biāo)任務(wù)相關(guān)的輸出層，包括：

去掉預(yù)訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型的輸出層，在保留學(xué)習(xí)到的圖嵌入表示和參數(shù)矩陣的基礎(chǔ)上添加一個與目標(biāo)任務(wù)關(guān)聯(lián)的輸出層，并隨機初始化該輸出層的模型參數(shù)。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用有標(biāo)簽數(shù)據(jù)對預(yù)訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進行微調(diào)，得到最終的圖神經(jīng)網(wǎng)絡(luò)模型，包括：

利用有標(biāo)簽數(shù)據(jù)經(jīng)過梯度下降算法對預(yù)訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進行微調(diào)，得到目標(biāo)圖神經(jīng)網(wǎng)絡(luò)模型，訓(xùn)練過程中除輸出層以外其它層的參數(shù)都是基于預(yù)訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型的參數(shù)微調(diào)得到的。

8.一種采用權(quán)利要求1～7中任一權(quán)利要求所述方法的基于遷移學(xué)習(xí)和深度學(xué)習(xí)融合的半監(jiān)督圖表示學(xué)習(xí)裝置，其特征在于，包括：

圖數(shù)據(jù)預(yù)處理模塊，負(fù)責(zé)對原始圖數(shù)據(jù)進行清洗，過濾掉無效數(shù)據(jù)；

預(yù)訓(xùn)練模塊，負(fù)責(zé)通過全局層面和局部層面的兩個子任務(wù)預(yù)訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)模型，以從未標(biāo)注的數(shù)據(jù)中學(xué)習(xí)輸入數(shù)據(jù)的通用表征；

目標(biāo)任務(wù)微調(diào)模塊，負(fù)責(zé)將預(yù)訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型遷移到目標(biāo)任務(wù)的訓(xùn)練過程中，在預(yù)訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型之后添加一個與目標(biāo)任務(wù)相關(guān)的輸出層，并利用有標(biāo)簽數(shù)據(jù)對預(yù)訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進行微調(diào)，得到最終的圖神經(jīng)網(wǎng)絡(luò)模型。

9.一種電子裝置，其特征在于，包括存儲器和處理器，所述存儲器存儲計算機程序，所述計算機程序被配置為由所述處理器執(zhí)行，所述計算機程序包括用于執(zhí)行權(quán)利要求1～7中任一權(quán)利要求所述方法的指令。

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲計算機程序，所述計算機程序被計算機執(zhí)行時，實現(xiàn)權(quán)利要求1～7中任一權(quán)利要求所述的方法。