[發(fā)明專利]一種基于自適應(yīng)圖學(xué)習(xí)的圖嵌入方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110010713.6
• 申請(qǐng)日: 2021-01-06
• 公開（公告）號(hào): CN112862064A
• 公開（公告）日: 2021-05-28
• 發(fā)明（設(shè)計(jì)）人: 張睿;李學(xué)龍;張運(yùn)星
• 申請(qǐng)（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06F16/901
• 代理公司: 西北工業(yè)大學(xué)專利中心 61204
• 代理人: 金鳳

本發(fā)明公開了一種基于自適應(yīng)圖學(xué)習(xí)的圖嵌入方法，包括構(gòu)建圖自編碼器框架、拉普拉斯嵌入、鄰接矩陣的自適應(yīng)學(xué)習(xí)和迭代更新求解四個(gè)步驟。圖自編碼器框架編碼層部分采用兩層圖卷積神經(jīng)網(wǎng)絡(luò)，解碼層部分為鄰接矩陣的重構(gòu)損失；拉普拉斯嵌入部分將拉普拉斯矩陣嵌入到潛在空間從而使樣本點(diǎn)可以更準(zhǔn)確地映射到投影子空間；鄰接矩陣的自適應(yīng)學(xué)習(xí)分三步：一是不再采用固定的節(jié)點(diǎn)鄰居數(shù)量，而是服從正態(tài)分布，成為可以通過(guò)自適應(yīng)學(xué)習(xí)獲取的變量；二是設(shè)置迭代停止的閾值，當(dāng)?shù)螖?shù)大于閾值時(shí)，停止更新；三是鄰接矩陣部分更新的方式；最終在迭代更新求解部分給出了模型的求解方法。本發(fā)明方法魯棒性強(qiáng)、應(yīng)用范圍廣，大大擴(kuò)展了圖自編碼器的應(yīng)用范圍。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)挖掘技術(shù)領(lǐng)域，具體涉及一種圖嵌入方法。

背景技術(shù)

圖結(jié)構(gòu)在各種現(xiàn)實(shí)世界的應(yīng)用中都是自然存在的，如社交網(wǎng)絡(luò)、詞同現(xiàn)網(wǎng)絡(luò)和通信網(wǎng)絡(luò)。圖神經(jīng)網(wǎng)絡(luò)的研究與圖嵌入或網(wǎng)絡(luò)嵌入密切相關(guān)。圖嵌入目的是將網(wǎng)絡(luò)節(jié)點(diǎn)表示為低維向量，同時(shí)保留網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)和節(jié)點(diǎn)內(nèi)容信息。圖神經(jīng)網(wǎng)絡(luò)的目的是以端到端的方式解決與圖相關(guān)的任務(wù)，其提取高級(jí)表示。圖神經(jīng)網(wǎng)絡(luò)和圖嵌入的關(guān)系可以理解為：圖神經(jīng)網(wǎng)絡(luò)可以針對(duì)多種任務(wù)而設(shè)計(jì)，其中可以采用圖自編碼器框架來(lái)解決圖嵌入問(wèn)題，而圖嵌入包含了各種各樣其他的方法。然而圖自編碼器的表現(xiàn)性能對(duì)圖結(jié)構(gòu)(即鄰接矩陣)非常敏感，鄰接矩陣的質(zhì)量對(duì)圖自編碼器的效果有非常大的影響。圖自編碼器框架對(duì)圖結(jié)構(gòu)的魯棒性不足，在圖結(jié)構(gòu)受到干擾或者缺失的情況下，圖自編碼器的效果會(huì)很差甚至不能工作。

針對(duì)這一問(wèn)題，目前的一些學(xué)者提出了他們的解決方法。比如：Jin Wei等人在文獻(xiàn)W.Jin,Y.Ma,X.Liu,X.Tang,S.Wang,and J.Tang:Graph Structure Learning forRobust Graph Neural Networks.arXiv preprint arXiv:2005.10203,2020中提出的Pro-GNN，和 Yu Chen在文獻(xiàn)Y.Chen,L.Wu,and M.J.Zaki:Deep iterative and adaptivelearning for graph neural networks.arXiv preprint arXiv:1912.07832,2019中提出的DIAN-GNN方法。

但是這兩種方法都具有其局限性。第一：這些方法依舊使用k近鄰(kNN)初始化鄰接矩陣，存在固定k值的缺點(diǎn)；第二：這兩種方法都是針對(duì)的有監(jiān)督的圖神經(jīng)網(wǎng)絡(luò)框架而非無(wú)監(jiān)督的圖自編碼器框架。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于自適應(yīng)圖學(xué)習(xí)的圖嵌入方法，包括構(gòu)建圖自編碼器框架、拉普拉斯嵌入、鄰接矩陣的自適應(yīng)學(xué)習(xí)和迭代更新求解四個(gè)步驟。圖自編碼器框架編碼層部分采用兩層圖卷積神經(jīng)網(wǎng)絡(luò)，解碼層部分為鄰接矩陣的重構(gòu)損失；拉普拉斯嵌入部分將拉普拉斯矩陣嵌入到潛在空間從而使樣本點(diǎn)可以更準(zhǔn)確地映射到投影子空間；鄰接矩陣的自適應(yīng)學(xué)習(xí)分三步：一是不再采用固定的節(jié)點(diǎn)鄰居數(shù)量，而是服從正態(tài)分布，成為可以通過(guò)自適應(yīng)學(xué)習(xí)獲取的變量；二是設(shè)置迭代停止的閾值，當(dāng)?shù)螖?shù)大于閾值時(shí)，停止更新；三是鄰接矩陣部分更新的方式；最終在迭代更新求解部分給出了模型的求解方法。本發(fā)明方法魯棒性強(qiáng)、應(yīng)用范圍廣，大大擴(kuò)展了圖自編碼器的應(yīng)用范圍。

本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案包括以下步驟：

步驟1：構(gòu)建圖自編碼器框架；

步驟1-1：當(dāng)原始數(shù)據(jù)中包含鄰接矩陣時(shí)將數(shù)據(jù)特征矩陣X和鄰接矩陣A作為圖自編碼器的輸入；當(dāng)原始數(shù)據(jù)中不存在鄰接矩陣時(shí)，通過(guò)自適應(yīng)學(xué)習(xí)機(jī)制利用原始特征信息初始化鄰接矩陣A，然后再將數(shù)據(jù)特征矩陣X和鄰接矩陣A輸入到圖自編碼器中；

步驟1-2：圖編碼過(guò)程；

采用兩層卷積神經(jīng)網(wǎng)絡(luò)作為圖編碼器進(jìn)行卷積處理；

第一層卷積神經(jīng)網(wǎng)絡(luò)采用Relu函數(shù)作為激活函數(shù)，第二層卷積神經(jīng)網(wǎng)絡(luò)采用線性激活函數(shù)；卷積神經(jīng)網(wǎng)絡(luò)統(tǒng)一表示為：