[發明專利]針對關系不確定性的引文網絡節點分類方法及系統

有效

• 申請號: 202110154722.2
• 申請日: 2021-02-04
• 公開（公告）號: CN112836050B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 劉士軍;陳冠恒;郭子瑜;梅廣旭;潘麗;楊承磊;孟祥旭
• 申請（專利權）人: 山東大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/901;G06N3/04
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

1.針對關系不確定性的引文網絡節點分類方法，其特征是，包括：

獲取待預測類別標簽的論文，獲取已知類別標簽的引文網絡；

根據所述待預測類別標簽的論文和所述已知類別標簽的引文網絡，構建元路徑鄰居圖；

基于元路徑鄰居圖，生成若干個泛化圖；

將所有泛化圖，均輸入到預訓練后的圖卷積神經網絡中，輸出待預測類別標簽論文的類別標簽；

基于元路徑鄰居圖，生成若干個泛化圖；具體步驟包括：

每個元路徑鄰居圖G_φ均被視為一個隨機圖參數族的實現，使用a-MMSBM模型對G_φ建模，以此獲取隨機圖參數并實現泛化圖的生成；其中，a-MMSBM英文全稱為：assortativemixed-membership stochastic block model，a-MMSBM的中文解釋為：基于分類混合隸屬度隨機塊模型；

對于包含M個節點的G_φ，這些節點分為K類，而同時歸屬多種類別的任意節點a∈M，其歸屬類別通過一個維度為K的概率分布π_a表示，即π_a＝[π_a1,…,π_ak]^T，其中π_ak表示節點a屬于類別k的概率；

同時每種類別都有其類別強度β_k∈(0,1)，用于評估該類別的成員之間聯系的緊密程度；

對于G_φ中任意節點對(a，b)，存在指示變量D_a→b＝k₁表示節點a指向節點b時節點a所歸屬的類別為k₁，指示變量D_b→a＝k₂表示節點b指向節點a時節點b所歸屬的類別為k₂；

節點對(a，b)的連接概率L_ab∈{0,1}，取值為0時表示不存在連接的邊，取值為1時表示存在連接的邊；總的來說，G_φ的節點之間是否連接取決于它們的類別成員的相似性和它們共享類別的強度；

基于元路徑鄰居圖G_φ并利用a-MMSBM生成泛化圖通過下面的描述定義：

(1)對于每個類別k，采樣其類別強度β_k～Beta(η)；

(2)對于任意節點a∈M，采樣其歸屬的類別分布π_a～Dirichlet(α)；

(3)對于任意節點對(a，b)，分別采樣其指示變量D_a→b～π_a和D_b→a～π_b；當D_a→b＝D_b→a＝k時，采樣它們之間的邊L_ab～Bernoulli(β_k)；當D_a→b≠D_b→a時L_ab～Bernoulli(δ)，其中δ∈(0,1)是跨類別連接概率；

其中η和α均為超參數，上述的生成模型過程通過下面的聯合后驗公式描述：

通過元路徑鄰居圖G_φ獲取a-MMSBM參數π和β的聯合后驗分布如下：

結合貝葉斯方法構建以節點標簽為目標的推導公式，最終利用近似方法得到公式的近似表示，利用GCN中softmax函數得到每個權重樣本的輸出，并通過累加這些輸出得到節點的標簽以此得到節點的分類結果；

通過重構網絡結構來解決異質圖中存在的關系不確定性問題，并結合貝葉斯方法，將網絡結構以及神經網絡的權重視為隨機變量，以節點的標簽為推理目標，利用邊緣化方法構建推導公式；

在節點分類任務中，對于單個元路徑鄰居圖的泛化圖樣本G，輸入數據表示為節點特征X、節點標簽Y_L與之相對應的輸出表示為Z＝{z₁,…,z_n}，目標是通過神經網絡訓練得到一個能反映輸入和輸出之間關系的函數z＝f(x)，使用貝葉斯方法將神經網絡權重參數W建模為隨機變量，引入它們的先驗分布，同時因為W是不確定的，所以神經網絡的輸出也是隨機變量；

對于新輸入x的預測，根據相應的W的后驗分布，通過積分函數得到：

p(z|x,X,Y_L,G)＝∫p(z|x,W,G)p(W|X,Y_L,G)dW；

使用GCN建模p(W|X,Y_L,G)，并使用softmax函數實現p(z|x,W,G)以得到節點的分類標簽；

蒙特卡羅近似得到上式的近似公式：

其中S個權重樣本W_s通過結合了MC-dropout方法的GCN得到；其中，MC-dropout的英文全稱為Monte Carlo dropout；MC-dropout表示蒙特卡羅近似；

元路徑鄰居圖G_φ、隨機圖參數λ＝{π,β}、泛化圖G的權重參數W以及節點標簽Z都被視為隨機變量，由于最終目的是獲得節點的標簽，基于此，利用邊緣化方法得到節點標簽的后驗概率計算公式：

p(Z|X,Y_L,G_obs)＝∫p(Z|W,G,X)p(W|X,Y_L,G)p(G|λ)p(λ|G_φ)p(G_φ|G_obs)dWdGdλdG_φ；

其中，p(G_φ|G_obs)表示從異質圖G_obs中獲取元路徑鄰居圖G_φ的概率，p(λ|G_φ)表示基于元路徑鄰居圖G_φ獲取隨機圖參數族λ＝{π,β}的概率，p(G|λ)表示利用這些參數λ構建泛化圖G的概率，p(W|X,Y_L,G)表示對于單個泛化圖G采樣神經網絡權重參數W的概率，最終基于節點特征X、泛化圖G以及權重樣本W得到節點的標簽分布p(Z|W,G,X)；

對于p(G_φ|G_obs)的實現方式，針對不同數據集預定義多種元路徑，基于這些元路徑構建元路徑鄰居圖樣本集，再通過均勻采樣的方式實現從異質圖中采樣元路徑鄰居圖；對于p(λ|G_φ)以及p(G|λ)，則通過隨機圖生成模型a-MMSBM對其建模來推理實現；對于權重后驗p(W|X,Y_L,G)，通過結合了MC-dropout方法的GCN實現權重樣本W采樣，最后通過GCN的softmax函數的結果對p(Z|W,G,X)建模；

由此，得到上述節點標簽的后驗概率計算公式的蒙特卡洛近似：

其中，從p(G_φ|G_obs)采樣H個元路徑鄰居圖樣本G_φ，對于每個G_φ通過隨機圖生成模型，從p(λ|G_φ)獲取I個參數族樣本λ_i，從p(G|λ_i)采樣出N_G個泛化圖樣本G_n,i,φ，這些泛化圖樣本的準確度取決于對元路徑鄰居圖樣本所構建的隨機圖生成模型，采用a-MMSBM作為隨機圖生成模型；

對于權重樣本的采樣p(W|X,Y_L,G_n,i,φ)，通過結合了MC-dropout方法的GCN對每個G_n,i,φ采樣S個權重樣本W_s,n,i,φ，并對W_s,n,i,φ使用softmax函數得到節點標簽的概率分布，最后通過累加這些標簽分布得到節點最終的標簽分布p(Z|X,Y_L,G_obs)；

對于a-MMSBM的隨機參數π、β采用隨機優化方法學習，但是由于a-MMSBM的后驗維度過高，對其參數采用隨機初始化的方式影響了訓練效果，所以使用GCN預訓練元路徑鄰居圖G_φ，利用softmax函數的輸出初始化參數π和β；同時為了避免因為參數π和β取值范圍過大導致a-MMSBM生成的泛化圖樣本G_n,i,φ與G_φ差異過大，使用最大后驗估計了替代π和β的積分，利用合適的π和β的先驗得到近似公式：

由此G_n,i,φ改寫為G_n,φ，W_s,n,i,φ改寫為W_s,n,φ，上述節點標簽的后驗概率計算公式的蒙特卡洛近似進一步簡寫為：

其中，Z表示神經網絡的輸出向量，X表示節點的特征向量，Y_L表示節點的標簽向量，G_obs表示輸入的異質圖，H表示采樣元路徑鄰居圖的樣本數量，φ表示一條元路徑，其中一條元路徑構建一個元路徑鄰居圖，N_G表示采樣泛化圖的樣本數量，n表示第n個泛化圖樣本，S表示采樣權重樣本的數量，s表示第s個權重樣本，G_n,φ表示基于元路徑鄰居圖G_φ得到的第n個泛化圖樣本，W_s,n,φ表示基于泛化圖G_n,φ得到的第s個權重樣本；

利用a-MMSBM從采樣得到G_n,φ，結合MC-dropout方法對G_n,φ使用GCN實現從p(W|X,Y_L,G_n,φ)采樣W_s,n,φ，并使用softmax函數得到節點標簽分布，最后采用累加的方式計算節點的標簽分布；

通過對異質圖的元路徑鄰居圖進行重構以及泛化得到新的圖結構，原來異質圖中本身具有強關系的節點之間的邊會增強，而弱關系或臟數據帶來的假邊則會被忽略，解決了異質圖中關系的不確定性問題，同時經過泛化得到更多的圖結構樣本能夠增加訓練數據中的對抗性實例的數量，從而增強了模型的魯棒性。