[發明專利]一種基于混合正則圖神經網絡的節點分類方法

在審

• 申請號: 202310424709.3
• 申請日: 2023-04-20
• 公開（公告）號: CN116484073A
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 文成林;曹飛龍;宋執環;張清華
• 申請（專利權）人: 廣東石油化工學院
• 主分類號: G06F16/906
• 分類號: G06F16/906;G06F16/901;G06N3/0499;G06N3/048;G06N3/08;G06F18/24
• 代理公司: 北京中安信知識產權代理事務所(普通合伙) 11248
• 代理人: 李彬;徐林

1.一種基于混合正則圖神經網絡的節點分類方法，其特征在于：所述方法包括如下步驟：

步驟a、對輸入的圖結構數據的特征矩陣X執行特征變換操作，記錄經過非線性映射之后的特征表示矩陣H；

H＝f(X)???????公式1

公式1中，H為節點的特征表示矩陣；f(·)為兩層的普通淺層前饋神經網絡MLP，激活函數為ReLU函數；

步驟b、根據圖信號重構思想及稀疏表示方法，設定帶有l_F范數與l₁范數的雙邊優化目標函數；

所述雙邊優化目標函數為：

公式2中，F₁表示字典矩陣；S為稀疏表示系數；O代表整體的優化目標；H是節點的特征表示矩陣；||·||_F表示F范數；||·||₁表示l₁范數；α和β分是控制稀疏正則化項與平滑正則化項的超參數；

為歸一化拉普拉斯矩陣，且m₀與m作為上下界是兩個常數；I是單位矩陣；A是圖上的鄰接矩陣；D是圖的度矩陣；字典矩陣轉置與自身相乘的l_F范數被它們所覆蓋的區間所包含；

步驟c、根據步驟b中公式2的雙邊優化目標函數求解字典矩陣F₁與稀疏表示系數S；

設定基于不同驅動的兩種方式，分別對目標進行求解：

在雙邊優化目標函數中，固定字典矩陣F₁，利用模型驅動的不動點迭代算法對稀疏表示系數S進行迭代更新；固定稀疏表示系數S，設定字典學習網絡對字典矩陣F₁進行迭代更新；

固定稀疏表示系數S時，所述字典學習網絡的迭代表達式陳述為：

公式3和公式4中，和分別是迭代過程中l-1輪和l輪的可學習參數矩陣；l_r是學習率；M代表節點總數；Φ(·)是交叉熵損失函數；是預測所得的結果；yⁱ則是數據本身所存在的真實值；

F₁^l表示迭代形式下第l輪的字典矩陣；γ是指字典學習網絡中跳躍連接所補充信息強度的超參數；A是圖上的鄰接矩陣；K表示網絡層數；I是單位矩陣，D是圖的度矩陣；X是原始所輸入圖的特征矩陣；指網絡中涉及的可學習的參數；

固定字典矩陣F₁時，根據雙邊優化目標函數導出的關于稀疏表示系數S的基于模型驅動的不動點迭代表達式作如下表示：

公式5中，S_l和S_l-1分別是第l-1次迭代與第l次迭代時的稀疏表示矩陣；k與k₀是使得||F₁^T(I+2βF₂^TF₂)F₁||存在邊界的兩個常數，即k₀≤||F₁^T(I+2βF₂^TF₂)F₁||≤k，令時，τ由G(S)在S_l處的黑塞矩陣所確定，若λ_max和λ_min分別是該黑塞矩陣的最大特征值與最小特征值，則τ被設置為Q_α表示一個閾值為α的軟閾值算子；I為單位矩陣；F₁和F₁^T表示字典矩陣及其轉置矩陣；α和β分是控制稀疏正則化項與平滑正則化項的超參數；m₀與m作為上下界是兩個常數；為歸一化拉普拉斯矩陣，A是圖上的鄰接矩陣，D是圖的度矩陣；H表示節點特征表示矩陣；

步驟d、根據步驟c中提出的兩種迭代求解方式，循環交替迭代，不斷對字典矩陣F₁、稀疏表示系數S進行更新；當字典矩陣F₁與稀疏表示系數S的乘積滿足圖信號重構的判定條件時，退出循環；計算得出提煉所得的節點表示；

字典學習網絡與不動點迭代算法交替迭代形成了MD模塊；每迭代一個輪回，MD模塊所學習到的字典與稀疏表示系數將經過一次判定，查看最終重構所得的圖信號是否重構成功，即是否滿足條件：

||F₁S-H||＜ε????公式6

公式6中，F₁表示字典矩陣；S_l是稀疏表示系數的迭代形式；H表示節點特征表示矩陣；ε是可接受重構誤差；

若重構成功，則字典與稀疏表示系數相乘得新的圖表示G(A；Z)；

步驟e、將步驟d所得的節點表示再次輸入一個新的MD模塊，重復步驟d；根據原始特征矩陣X與鄰接矩陣A，計算跳躍連接所需的補充信息；將第二個MD模塊所得的節點表示與補充信息相加，計算得出新的節點表示；

GNN-MD的輸出過程表示為：

公式7中，Z_out為節點表示；為字典；為稀疏表示系數；γ為控制補充引導信息強度的超參數，實驗時表現為0-1之間的數值；是重歸一化拉普拉斯矩陣；H表示節點特征表示矩陣；

步驟f、將步驟e中所得的節點表示輸入分類器，得到分類結果；

利用隨機梯度下降法訓練整個GNN-MD模型；當滿足重構條件時，退出循環，將GNN-MD輸出的節點表示送入分類器中，即能夠得到分類結果。