[發(fā)明專利]一種基于網(wǎng)絡(luò)結(jié)構(gòu)相似性的對抗網(wǎng)絡(luò)表示學(xué)習(xí)方法

在審

• 申請?zhí)枺?/td>: 201910886809.1
• 申請日: 2019-09-19
• 公開（公告）號: CN110674929A
• 公開（公告）日: 2020-01-10
• 發(fā)明（設(shè)計）人: 谷峪;周子涵;于戈
• 申請（專利權(quán)）人: 東北大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08;G06K9/62
• 代理公司: 21109 沈陽東大知識產(chǎn)權(quán)代理有限公司
• 代理人: 李在川

本發(fā)明提供一種基于網(wǎng)絡(luò)結(jié)構(gòu)相似性的對抗網(wǎng)絡(luò)表示學(xué)習(xí)方法，涉及大圖數(shù)據(jù)處理領(lǐng)域。該方法包括：計算給定圖中各網(wǎng)絡(luò)節(jié)點(diǎn)對結(jié)構(gòu)相似度，并選取判別器模型訓(xùn)練的正樣本集合；計算給定圖的全局連通性概率分布；設(shè)計節(jié)點(diǎn)對結(jié)構(gòu)相似性的判別函數(shù)；采用有偏二跳隨機(jī)游走策略得到判別器模型訓(xùn)練的負(fù)樣本集合；對判別器模型進(jìn)行訓(xùn)練，直至優(yōu)化達(dá)到納什均衡，輸出生成器模型和判別器模型的參數(shù)。本方法利用網(wǎng)絡(luò)節(jié)點(diǎn)對結(jié)構(gòu)相似度學(xué)習(xí)節(jié)點(diǎn)低維表示向量，得到的表示向量適合于各類網(wǎng)絡(luò)數(shù)據(jù)挖掘任務(wù)，具有理論保證和實(shí)驗(yàn)保證，同時，采用生成對抗訓(xùn)練框架設(shè)計了基于截斷二步隨機(jī)游走的生成器模型和基于全局連通性分布相似性的判別器模型，加強(qiáng)了方法的魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及大圖數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種基于網(wǎng)絡(luò)結(jié)構(gòu)相似性的對抗網(wǎng)絡(luò)表示學(xué)習(xí)方法。

背景技術(shù)

網(wǎng)絡(luò)是一種能夠存儲各類實(shí)體間復(fù)雜關(guān)系的傳統(tǒng)數(shù)據(jù)結(jié)構(gòu)，隨著互聯(lián)網(wǎng)和社交網(wǎng)絡(luò)的迅速發(fā)展，網(wǎng)絡(luò)作為這類應(yīng)用的普遍信息承載結(jié)構(gòu)，往往會被應(yīng)用在各類大數(shù)據(jù)分析和機(jī)器學(xué)習(xí)任務(wù)中。目前以微信朋友圈、新浪微博為首的各類交網(wǎng)絡(luò)的網(wǎng)絡(luò)規(guī)模早已突破億級，其中的網(wǎng)絡(luò)邊關(guān)系數(shù)目更是復(fù)雜。傳統(tǒng)的利用網(wǎng)絡(luò)節(jié)點(diǎn)的鄰接向量作為節(jié)點(diǎn)特征表示而進(jìn)行圖數(shù)據(jù)挖掘任務(wù)的方式隨著網(wǎng)絡(luò)節(jié)點(diǎn)鄰接向量維度的迅猛增加和普遍存在的數(shù)據(jù)大量稀疏特點(diǎn)而顯得力不從心。因此，如何合理的進(jìn)行網(wǎng)絡(luò)節(jié)點(diǎn)表示以期減少大規(guī)模圖數(shù)據(jù)挖掘任務(wù)的計算代價和時間成本目前成為了圖領(lǐng)域和表示學(xué)習(xí)領(lǐng)域的長期存在且基礎(chǔ)的研究方向。

網(wǎng)絡(luò)表示學(xué)習(xí)是指通過結(jié)合網(wǎng)絡(luò)中存在的各類網(wǎng)絡(luò)拓?fù)湫畔ⅲ瑢W(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行低維特征向量的學(xué)習(xí)。后續(xù)再將學(xué)習(xí)到的節(jié)點(diǎn)表示向量作為節(jié)點(diǎn)特征輸入到各類信息網(wǎng)絡(luò)背景下的實(shí)際問題中進(jìn)行求解。包括且并不限于鏈接預(yù)測、多標(biāo)簽節(jié)點(diǎn)分類、聚類、網(wǎng)絡(luò)可視化和推薦系統(tǒng)等各類圖數(shù)據(jù)挖掘任務(wù)。目前，網(wǎng)絡(luò)表示學(xué)習(xí)已然成為大規(guī)模圖數(shù)據(jù)處理領(lǐng)域的重點(diǎn)研究方向。

目前存在的網(wǎng)絡(luò)表示學(xué)習(xí)方法大致能夠分為三類：基于矩陣分解的網(wǎng)絡(luò)表示學(xué)習(xí)方法、基于融合網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)特征的網(wǎng)絡(luò)表示學(xué)習(xí)方法和基于深度學(xué)習(xí)模型的網(wǎng)絡(luò)表示學(xué)習(xí)方法。其中基于矩陣分解的方法可以看作是一種傳統(tǒng)的降維方法，它通過對網(wǎng)絡(luò)的通用表示鄰接矩陣進(jìn)行矩陣分解操作從而獲取到保留網(wǎng)絡(luò)拓?fù)湫畔⒌牡途S節(jié)點(diǎn)向量表示。基于圖拓?fù)浣Y(jié)構(gòu)的方法是目前最常見同時最高效的網(wǎng)絡(luò)表示學(xué)習(xí)方法，通過結(jié)合網(wǎng)絡(luò)中的各類拓?fù)湫畔W(xué)習(xí)網(wǎng)絡(luò)的節(jié)點(diǎn)表示。這類方法的重點(diǎn)是需要設(shè)計一種挖掘網(wǎng)絡(luò)結(jié)構(gòu)特征的策略或是設(shè)計融合網(wǎng)絡(luò)節(jié)點(diǎn)間的鄰近性特征或高階結(jié)構(gòu)特征的目標(biāo)函數(shù)，通過優(yōu)化目標(biāo)函數(shù)從而獲取有效的網(wǎng)絡(luò)低維向量表示。典型的有基于隨機(jī)游走獲取網(wǎng)絡(luò)結(jié)構(gòu)拓?fù)涮卣鞯姆椒ê屯ㄟ^優(yōu)化自設(shè)計的隱含網(wǎng)絡(luò)節(jié)點(diǎn)相似性的目標(biāo)函數(shù)的方法。目前，基于深度學(xué)習(xí)模型的網(wǎng)絡(luò)表示學(xué)習(xí)方法由于往往能夠獲得良好的算法精確性和基于深度學(xué)習(xí)模型的非線性特征能夠?qū)W習(xí)到有效保存網(wǎng)絡(luò)中普遍存在的非線性結(jié)構(gòu)特征也逐漸成為了網(wǎng)絡(luò)表示學(xué)習(xí)的主流方法。

生成對抗網(wǎng)絡(luò)GANs(Generative Adversarial Networks)這一深度學(xué)習(xí)模型自提出以來一直是一個火熱的研究方向，其在各類深度學(xué)習(xí)任務(wù)中都能取得優(yōu)異的實(shí)驗(yàn)效果，其應(yīng)用范圍也是越來越廣闊。目前學(xué)界已經(jīng)出現(xiàn)了融合生成對抗網(wǎng)絡(luò)的對抗思想進(jìn)行網(wǎng)絡(luò)表示學(xué)習(xí)的方法，實(shí)驗(yàn)證明，通過對抗的訓(xùn)練方式學(xué)習(xí)到的網(wǎng)絡(luò)節(jié)點(diǎn)向量表示具有良好魯棒性，同時作為特征輸入進(jìn)行各類圖數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)任務(wù)往往能夠達(dá)到很好的效果。然而目前結(jié)合對抗訓(xùn)練方式的網(wǎng)絡(luò)表示學(xué)習(xí)方法存在著設(shè)計生成器和判別器的難點(diǎn)，目前已有的方法都只是考慮了網(wǎng)絡(luò)節(jié)點(diǎn)間的簡單邊關(guān)系進(jìn)行節(jié)點(diǎn)的低維表示向量的學(xué)習(xí)。然而網(wǎng)絡(luò)中存在的拓?fù)湫畔⒉⒉恢皇沁呹P(guān)系，還存在各類高階拓?fù)湫畔ⅲ绻?jié)點(diǎn)之間的結(jié)構(gòu)相似度和一些高階臨近性關(guān)系等。因此，如何設(shè)計融合網(wǎng)絡(luò)高階結(jié)構(gòu)信息的對抗網(wǎng)絡(luò)表示學(xué)習(xí)方法將是一個具有非常大挑戰(zhàn)性的任務(wù)，即我們需要設(shè)計適配于任務(wù)的生成器和生成策略和判別器。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)存在的問題，本發(fā)明提供一種基于網(wǎng)絡(luò)結(jié)構(gòu)相似性的對抗網(wǎng)絡(luò)表示學(xué)習(xí)方法，利用網(wǎng)絡(luò)中節(jié)點(diǎn)對之間存在的結(jié)構(gòu)相似性這一高階結(jié)構(gòu)特征學(xué)習(xí)節(jié)點(diǎn)的隱含網(wǎng)絡(luò)拓?fù)湫畔⒌牡途S表示向量，同時本方法通過采用對抗的訓(xùn)練方法使得學(xué)習(xí)得到的節(jié)點(diǎn)表示向量具有魯棒性。