[發明專利]一種用于文檔分類的基于強化學習的通過添加虛假節點的圖對抗樣本生成方法

有效

• 申請號: 201910496324.1
• 申請日: 2019-06-10
• 公開（公告）號: CN110334742B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 李瑩;陳裕;尹建偉;鄧水光
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/66
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

1.一種用于文檔分類的基于強化學習的通過添加虛假節點的圖對抗樣本生成方法，其特征在于，包括：

(1)獲取文獻引用數據集中的原圖數據(A,X)以及圖節點分類模型，數據集中的每個節點都是一個文檔，邊表示文檔之間的引用；

使用分類模型對原圖數據進行預測，根據預測結果構造訓練集和測試集，其中A是圖的鄰接矩陣，X是圖中節點的特征；向原圖數據中添加虛假節點，得到初始的對抗樣本(A⁰,X⁰)；

(2)構建深度學習攻擊模型Q，并初始化參數；

(3)在訓練集中選擇攻擊目標(v^*,y^*)，其中v^*為目標節點，y^*為分類結果；

(4)把當前的對抗樣本(A^t,X^t)和攻擊目標(v^*,y^*)輸入攻擊模型，計算得到所有候選節點的評估值，選擇評估值最大的節點，并添加一條連接虛假節點和選擇的節點的邊，得到新的對抗樣本(A^t+1,X^t+1)，其中t＝0,1,2,3…,T，T為最大修改次數；

(5)將新的對抗樣本(A^t+1,X^t+1)輸入圖節點分類模型，計算攻擊目標節點的分類概率，計算圖節點分類模型環境反饋的獎勵信號r^t，累積獎勵若分類結果為y^*，得到對抗樣本(A^t+1,X^t+1)，跳轉至步驟(6)；否則跳轉至步驟(4)；

(6)收集記錄步驟(3)至步驟(5)的數據，通過最小化模型的損失函數對攻擊模型進行訓練；

(7)使用步驟(6)中訓練好的攻擊模型對測試集中的樣本生成對抗樣本，進行驗證和測試，并進行生成對抗樣本的應用；利用對抗樣本訓練得到更加魯棒的圖深度學習模型，利用圖深度學習模型對待分類文獻引用數據中未知類別的文檔進行分類。

2.根據權利要求1所述的用于文檔分類的基于強化學習的通過添加虛假節點的圖對抗樣本生成方法，其特征在于，步驟(1)中，根據預測結果構造訓練集和測試集的具體過程為：選擇分類模型分類正確的節點作為攻擊的目標節點，同時為每個目標節點配置所有不正確的類別標簽，構成數據集，再將數據集分成訓練集和測試集。

3.根據權利要求1所述的用于文檔分類的基于強化學習的通過添加虛假節點的圖對抗樣本生成方法，其特征在于，步驟(2)中，所述的深度學習攻擊模型包含以下子模塊：

節點嵌入模塊：根據輸入的圖數據(A^t,X^t)，計算每個節點向量表示；

節點評估模塊：根據目標節點的向量表示、候選節點的向量表示和目標類別，計算候選節點的優劣程度，得到評估值；

輸出模塊：輸出所有候選節點的評估值。

4.根據權利要求1所述的用于文檔分類的基于強化學習的通過添加虛假節點的圖對抗樣本生成方法，其特征在于，步驟(5)中，所述的獎勵信號r^t的計算方式為：若分類結果為y^*，則r^t＝1；否則r^t＝0。

5.根據權利要求1所述的用于文檔分類的基于強化學習的通過添加虛假節點的圖對抗樣本生成方法，其特征在于，步驟(5)中，所述的獎勵信號r^t的計算方式為：

其中，Z^t是指當前所有節點的分類概率，表示Z^t中第v^*行，第y^*列的元素，其物理意義為攻擊的目標節點分類為標簽y^*的概率。

6.根據權利要求1所述的用于文檔分類的基于強化學習的通過添加虛假節點的圖對抗樣本生成方法，其特征在于，步驟(6)中，對攻擊模型進行訓練的具體過程為：

模型通過最小化損失函數Loss(θ)進行訓練，θ為模型參數，其損失函數Loss(θ)計算如下：

其中，N為樣本數量，狀態s_t包含了目標節點的向量表示以及目標類別，動作a_t包含了候選節點的向量表示。