[發明專利]一種基于圖結構數據的端到端無數據對抗性知識抽取方法

在審

• 申請號: 202210193392.2
• 申請日: 2022-03-01
• 公開（公告）號: CN114565081A
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 石川;莊遠鑫
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N5/02
• 代理公司: 北京挺立專利事務所(普通合伙) 11265
• 代理人: 高福勇

1.一種基于圖結構數據的端到端無數據對抗性知識抽取方法，其特征在于，采用產生式對抗性網絡和以下步驟：

S1、將預先訓練的教師模型和旨在學習的緊湊型學生模型視為兩個鑒別器；

S2、利用生成器從先前的分布中提取樣本并生成假圖；

S3、在教師模型的監督下，使用生成的假圖來訓練學生模型，將教師模型中的知識提取到學生模型中。

2.根據權利要求1所述的基于圖結構數據的端到端無數據對抗性知識抽取方法，其特征在于，步驟S2的生成器G用于合成假圖，使教師模型T和學生模型S之間的分歧最大化，生成器G從標準正態分布z取d維向量并輸出圖。

3.根據權利要求2所述的基于圖結構數據的端到端無數據對抗性知識抽取方法，其特征在于，對于每個標準正態分布z，生成器G輸出一個定義節點特征的對象F，然后計算鄰接矩陣A如下：

A＝σ(FF^T)

其中σ(.)是邏輯sigmoid函數。

4.根據權利要求3所述的基于圖結構數據的端到端無數據對抗性知識抽取方法，其特征在于，生成器G和學生模型S分別競爭最大化和最小化的同一損失函數，對抗訓練表示為：

其中D(.)表示教師模型T與學生模型S之間的差異。

5.根據權利要求1所述的基于圖結構數據的端到端無數據對抗性知識抽取方法，其特征在于，步驟S3中對抗性訓練過程包括兩個階段：最小化差異的蒸餾階段和最大化差異的生成階段。

6.根據權利要求5所述的基于圖結構數據的端到端無數據對抗性知識抽取方法，其特征在于，最小化差異的蒸餾階段的方法為：

S311、固定生成器G，更新鑒別器中的學生模型S；

S312、從標準正態分布中抽取一批隨機噪聲z，用生成器G構造偽圖；

S313、然后將每個圖x分別提供給教師模型和學生模型，生成輸出qs和qt，其中q是表示不同類別得分的向量，qt和qs之間損失函數采用平均絕對誤差。

7.根據權利要求6所述的基于圖結構數據的端到端無數據對抗性知識抽取方法，其特征在于，蒸餾的損失函數如下：

8.根據權利要求5所述的基于圖結構數據的端到端無數據對抗性知識抽取方法，其特征在于，最大化差異的生成階段的方法為：

S321、修復兩個鑒別器，只更新生成器；

S322、將負的損失作為優化生成器的目標：

S323、生成器損失首先通過鑒別器，即教師模型和學生模型反向傳播，然后通過生成器，產生優化生成器的梯度。

9.根據權利要求5所述的基于圖結構數據的端到端無數據對抗性知識抽取方法，其特征在于，步驟S3通過迭代蒸餾階段和生成階段來訓練學生模型和生成器。

10.根據權利要求9所述的基于圖結構數據的端到端無數據對抗性知識抽取方法，其特征在于，步驟S3優化的方法具體為：

S331、從蒸餾階段開始，使偏差D(T，S；G)最小化，對學生模型進行多次更新；

S332、然后在生成階段，更新生成器以最大化D(T，S；G)；

S333、生成器根據學生模型的學習進度繪制新的圖表，以進一步估計模型的差異。