[發明專利]一種基于時空稀疏學習的魯棒圖卷積神經網絡方法

在審

• 申請號: 202110257211.3
• 申請日: 2021-03-09
• 公開（公告）號: CN112906869A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 張亞;魯鳴鳴;李澤鵬;熊海裕;田卓林
• 申請（專利權）人: 中南大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于時空稀疏學習的魯棒圖卷積網絡方法。本發明方法通過TopK函數在每個節點上實現空間稀疏性，并提出一種基于時間稀疏性的關注機制，即根據不同的激活頻率為特征空間的每個維度分配不同的權重。本發明提供了一種改進版的圖卷積神經網絡，在保持原有網絡精度的同時，具有較高的魯棒性，提升模型面對噪聲的抗干擾能力。

技術領域

本發明屬于圖的對抗攻擊與防御領域，尤其涉及一種使用時空稀疏學習提高模型面對擾動的魯棒性的領域。

背景技術

近年來，圖神經網絡(GNN)在社交網絡，化學成分結構，生物基因蛋白等各種圖結構數據上的成功應用引起了越來越多的關注。但是，最近的工作指出，GNN容易受到對抗攻擊，這可能會使安全關鍵的GNN應用程序崩潰，例如自動駕駛，醫療診斷。

GNN對抗攻擊的主要思想是更改圖結構的拓撲信息或節點的特征信息以有意干擾分類器。在生成圖的對抗攻擊方面，Dai等人研究了基于強化學習的非目標規避攻擊RL-S2V[1]。而Zugner提出了一種中毒攻擊方法Nettack，可以更改訓練數據以對目標節點進行錯誤分類[2]。此外，Zugner等人還提出在訓練過程中使用元梯度來解決攻擊中的最小-最大問題，并提出了一種降低整體分類性能的攻擊方法[3]。另一方面，Xu等人通過凸松弛簡化了圖的離散問題，從而提出了基于梯度的拓撲攻擊[4]。

在提升圖上的魯棒性的方法方面，Wu等人通過保留與其節點具有較高Jaccard相似度的相鄰節點來提高模型的魯棒性[5]。RGCN模型使用高斯分布作為圖的所有卷積層中節點的隱藏表示，并通過注意力機制吸收對抗性攻擊的影響來降低高斯分布的方差[6]。Zugner等人提出了僅針對節點屬性的擾動而基于凸松弛的穩健證明，并使用半監督屬性來提高模型的穩健性[7]。PA-GNN模型學習通過類似域的其他干凈圖的信息來懲罰擾動的能力，并將其轉移到目標中毒圖[8]。

與現有提升圖上的魯棒性的方法不同，本專利建議從時空稀疏性的角度構造圖上的健壯的特征空間并在圖中傳播每個節點的健壯的特征表示，而不針對特定的擾動。本專利的動機是表明健壯模型與常規模型不同，其不同之處在于健壯的模型傾向于學習更有意義的更加顯著的數據特征[9]。這種現象促使本專利采用稀疏表示來構造健壯的特征表示，只保留顯著的特征，以減少弱相關特征的影響，進而提高模型的魯棒性。同時，這種稀疏表示已在計算神經科學中得到廣泛使用[10]。

因此，本專利提出了一種稀疏表示學習框架(ST-SparseGCN)，以提高GNN模型的魯棒性。提出的框架不僅可以學習通過空間稀疏化激活最顯著的特征，而且可以通過時間稀疏化學習擴展潛在的活動特征集，以便可以從較大的顯著特征池中動態選擇活動特征，進而增強了模型泛化能力。

發明內容

發明目的：本發明提供了一種基于時空稀疏學習的魯棒圖卷積神經網絡方法(ST-SparseGCN)，有效提高模型適應擾動的影響，提高存在擾動情況下的節點識別的準確率，提升模型的穩健性和魯棒性。

技術方案：為實現上述目的，本發明采用的技術方案為：

一種基于時空稀疏學習的魯棒圖卷積神經網絡方法(ST-SparseGCN)，包括以下步驟：

步驟1)給定圖結構數據，包含用來表示節點特征的特征向量矩陣X、用來表示圖中的連接關系的鄰接矩陣A以及對應的節點類別標簽，初始化激活頻率矩陣

步驟2)將圖結構數據輸入圖卷積神經網絡層，得到各個節點的隱藏特征表示。

步驟3)將各個節點的隱藏特征表示輸入空間稀疏化模塊，得到各個節點的稀疏隱藏特征表示。

步驟4)根據稀疏隱藏特征表示的激活位置，更新激活頻率矩陣。

步驟4-1)統計稀疏隱藏特征表示中未被置0的特征值的維度。

步驟4-2)在時間權重矩陣中將與所統計的維度的相同位置加1。