[發明專利]一種基于圖結構數據的端到端無數據對抗性知識抽取方法

在審

• 申請號: 202210193392.2
• 申請日: 2022-03-01
• 公開（公告）號: CN114565081A
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 石川;莊遠鑫
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N5/02
• 代理公司: 北京挺立專利事務所(普通合伙) 11265
• 代理人: 高福勇

本發明公開了一種基于圖結構數據的端到端無數據對抗性知識抽取方法，用于模型壓縮。本發明采用了產生式對抗性網絡，該網絡主要由三部分組成：將預先訓練的教師模型和學生模型視為兩個鑒別器，并利用生成器生成訓練圖，將教師模型中的知識提取到學生模型中。在不同的基準模型和6個代表性數據集上的大量實驗表明，本發明的方法在圖形分類任務上明顯超過了最新的無數據基線。在沒有任何實際數據的情況下，本發明成功地減少了誤差，得到了一個性能相對較好的學生模型，可以有效地應用于不同的網絡體系結構。本發明的方法是第一個提出有效的、端到端的無數據的圖知識蒸餾框架，為今后的研究工作奠定了堅實的基礎。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種基于圖結構數據的端到端無數據對抗性知識抽取方法。

背景技術

圖神經網絡(GNNs)因其在廣泛的實際應用中表現出的優異性能而被廣泛應用于圖結構數據建模。近年來，面向GNN的知識蒸餾(KD)技術在模型壓縮和知識傳遞方面取得了顯著進展。

知識蒸餾(KD)旨在將(較大的)教師模式的知識轉移到(較小的)學生模式。最初引入它是為了減小在計算資源有限的設備上部署的模型的大小。從那時起，這一系列研究引起了人們的極大關注。最近，有一些嘗試將知識蒸餾與圖卷積網絡(GCNS)相結合。在計算機視覺領域，Yang等人提出了利用局部結構保持模塊將具有大特征圖的深層GCN壓縮為參數較少的淺層GCN。Yang等人提出了一個知識蒸餾框架，該框架可以提取任意教師模型的知識，并將其注入到設計良好的學生模型中。這些工作旨在提高學生模型在半監督節點分類任務上的性能，而不是本發明所考慮的圖分類任務。此外，上述方法雖然取得了很好的效果，但如果沒有原始訓練數據集就不能有效地啟動，在實際應用中，由于傳輸限制、隱私等原因，這些原始數據在實踐中并不容易獲得，并且可能會阻礙它們在教師模型針對稀有或難以獲得的數據集進行培訓的場景中的適用性。因此，有必要考慮使用無數據方法來壓縮神經網絡。

解決無數據知識蒸餾的技術依賴于訓練生成模型來合成假數據，最近的一項工作名為無圖KD(GFKD)，提出了一種無數據的圖神經網絡知識蒸餾方法。GFKD通過用多項式分布建模來學習用于知識蒸餾的圖拓撲結構。訓練步驟包括兩個獨立的步驟：(1)首先使用預先訓練好的教師模型生成偽圖；(2)然后使用這些偽圖將知識提取到緊湊的學生模型中。然而，這些偽圖是由不變的教師模型優化的，而不考慮學生模型。因此，它們對于有效地提取學生模型并不是很有用，導致訓練出來的學生模型準確率較低。

發明內容

基于此，本發明提供一種基于圖結構數據的端到端無數據對抗性知識抽取方法(DFAD-GNN)，目的是生成高質量的多樣化訓練數據，以提高學生模型的泛化能力。

為了實現上述目的，本發明提供如下技術方案：

本發明提供的一種基于圖結構數據的端到端無數據對抗性知識抽取方法，采用產生式對抗性網絡和以下步驟：

S1、將預先訓練的教師模型和旨在學習的緊湊型學生模型視為兩個鑒別器；

S2、利用生成器從先前的分布中提取樣本并生成假圖；

S3、在教師模型的監督下，使用生成的假圖來訓練學生模型，將教師模型中的知識提取到學生模型中。

進一步地，步驟S2的生成器G用于合成假圖，使教師模型T和學生模型S之間的分歧最大化，生成器G從標準正態分布z取d維向量并輸出圖。

進一步地，其特征在于，對于每個標準正態分布z，生成器G輸出一個定義節點特征的對象F，然后計算鄰接矩陣A如下：

A＝σ(FF^T)

其中σ()是邏輯sigmoid函數。

進一步地，生成器G和學生模型S分別競爭最大化和最小化的同一損失函數，對抗訓練表示為：