[發明專利]一種基于強化學習的動態鏈路預測模型魯棒性增強方法

在審

• 申請號: 202011532408.5
• 申請日: 2020-12-22
• 公開（公告）號: CN112580728A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 劉毅;王玨;陳晉音
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 彭劍

1.一種基于強化學習的動態鏈路預測模型魯棒性增強方法，其特征在于，包括：

(1)對原始圖數據進行特征嵌入，提取嵌入向量；

(2)將特征嵌入后的嵌入向量作為馬爾科夫決策過程中的狀態進行建模，輸出動作為修改的連邊數；

(3)使用強化學習DDPG的訓練策略，逐圖增刪連邊，直到最后一張；

(4)計算處理后的圖數據，并輸入到動態鏈路預測模型進行準確率預測，得到回報值；

(5)重復步驟(3)～(4)，直到設定的訓練輪數，最終得到修改后的魯棒性增強的圖數據。

2.根據權利要求1所述的基于強化學習的動態鏈路預測模型魯棒性增強方法，其特征在于，步驟(1)中，提取嵌入向量使用的是兩層的GCN模型，每一層的傳播規則為：

其中，即在鄰接矩陣A上加一個單位矩陣I_N；是的度矩陣，即H^(l)是第l層的激活單元矩陣，H⁽⁰⁾為特征矩陣X，W^(l)為每一層的參數矩陣，σ為sigmoid激活函數，把輸入值映射到[0,1]。

3.根據權利要求2所述的基于強化學習的動態鏈路預測模型魯棒性增強方法，其特征在于，輸出的嵌入向量表示為(y₁,y₂,…,y_l)，

(y₁,y₂,…,y_l)＝G(x₁,x₂,…,x_l)

其中，G代表整個GCN模型，這里選擇輸出嵌入向量的維度與特征向量相同，(x₁,x₂,…,x_l)表示圖數據的節點特征向量。

4.根據權利要求1所述的基于強化學習的動態鏈路預測模型魯棒性增強方法，其特征在于，步驟(2)中，馬爾科夫決策過程是由4個元素構成的四元組＜S,A,T,R＞；其中，S是包含所有狀態的有限集合，A是一個包含所有動作的有限集合，T為轉換函數，R為獎勵函數；

建模過程中，S中的一個狀態由所有節點輸出的嵌入向量的拼接而成，得到的向量表示為y_all：

y_all＝(y₁₁,y₁₂,…y_1l,y₂₁,y₂₂,…y_2l,…,y_N1,y_N2,…y_Nl)

其中，N表示的是圖中的節點數目；

A的動作設定為修改的連邊數，根據圖的大小來設定可以修改的最大連邊數；轉換函數T包含圖隨時間的變化以及后面時刻對前面時刻修改的繼承；獎勵函數R則由鏈路預測的預測性能決定。

5.根據權利要求1所述的基于強化學習的動態鏈路預測模型魯棒性增強方法，其特征在于，步驟(3)的具體過程為：

(3-1)將步驟(1)得到的圖數據的嵌入向量作為強化學習的狀態s_t；對于前面時刻有修改的圖，需要把改變后的圖的鄰接矩陣生成嵌入向量；

(3-2)從環境接收狀態s_t，然后輸出一個[0,1]的值作為動作a_t，動作a_t代表的是修改的連邊數；確定修改數目后，根據所有節點對的梯度來選擇需要修改的連邊；

(3-3)按照序列中圖的順序，根據DDPG的策略逐圖修改，直到完成最后一張圖。