[發明專利]一種多跳圖卷積神經網絡模型及其訓練方法

在審

• 申請號: 202011642703.6
• 申請日: 2020-12-30
• 公開（公告）號: CN112633481A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 劉勛;宗建華;夏國清;陳華珍;于明清
• 申請（專利權）人: 廣州大學華軟軟件學院
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62;G06F16/35
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;顏希文

本發明提供了一種多跳圖卷積神經網絡模型及其訓練方法，所述模型依次包括輸入層、同時捕捉多階鄰域信息、引入自連接和注意力乘數的多跳圖卷積層、融合多跳鄰域信息的SP信息融合池化層和softmax函數多分類輸出層，所述模型對應的訓練方法為先預處理得到預處理特征后，將其輸入模型訓練的高效訓練方法。本實施例采用多階圖卷積層增加模型寬度、減少了模型計算復雜度和參數量的同時，還能聚集多階鄰域節點信息、賦予自身節點更高權重，且通過分組注意結合注意力乘數調整不同階鄰域節點分類貢獻度，不僅保持了更大的感受野，還提高了模型的有效性、穩定性和分類表現。

技術領域

本發明涉及圖像處理及深度學習技術領域，特別是涉及一種多跳圖卷積神經網絡模型及其訓練方法。

背景技術

圖卷積神經網絡中的高階圖卷積網絡因其能夠聚集更豐富節點信息、擴寬模型感受野及提升分類表現而在圖像處理及深度學習技術領域得以廣泛應用。如，高階圖卷積網絡模型設計了一種包括使用不同權重參數的一階圖卷積到P階圖卷積，利用兩個高階圖卷積層學習高階節點之間的關系和聚集不同距離鄰域節點信息的高階圖卷積，且在每個高階圖卷積聚集了不同距離的鄰域信息后，利用列連接將這些鄰域信息進行拼接，再通過一個全連接層進行鄰域信息融合的網絡架構，通過聚集多階鄰域信息，在一定程度上擴寬了模型的感受野、提升了分類精度，但由于其采用不同階卷積不同的權重參數、堆疊多個高階圖卷積層，及全連接融合不同距離鄰域信息的技術必要會造成復雜度增大，參數量成倍增加，進而增加了過擬合風險；高低階圖卷積網絡模型設計了一種既包括一階的低階圖卷積，也包括二階到P階的高階圖卷積，所有階數圖卷積采用權重共享機制，且在每個高低階圖卷積聚集不同距離的鄰域信息后，利用信息融合層進行融合的網絡架構，在一定程度上較少了參數量，但其同樣堆疊了多層高低階圖卷積層使得模型的參數量和復雜度并沒有顯著減少，同樣不能避免過擬合風險。雖然，隨后提出的簡化圖卷積通過反復移除圖卷積層之間的非線性激活函數并折疊正則化鄰接矩陣，及將參數矩陣重參數化為單一參數矩陣的方法減少了高階圖卷積模型的參數量和復雜度，但由于其過渡簡化而只能捕捉k階鄰域信息，造成了大量節點信息的丟失，限制了模型的表達能力。

因此，如何在保留現有高階圖卷積能夠捕捉更多更豐富節點信息及全局結構的分類優勢的同時，對其進行適當簡化，減少計算復雜度和參數量，避免過擬合的風險，進而提高分類的表現是非常有意義的。

發明內容

本發明的目的是通過對現有高階圖卷積的適當簡化，減少計算復雜度和參數量，避免過擬合風險的同時，還能夠捕捉更多更豐富節點信息及全局結構，進一步提高分類表現。

為了實現上述目的，有必要針對上述技術問題，提供一種多跳圖卷積神經網絡模型及其訓練方法。

第一方面，本發明實施例提供了一種多跳圖卷積神經網絡模型，所述多跳圖卷積神經網絡模型模型依次包括輸入層、多跳圖卷積層、信息融合池化層和輸出層；

所述輸入層，用于接收訓練數據集的圖特征；

所述多階圖卷積層，用于根據所述圖特征進行零階到k階的多跳圖卷積運算，得到圖卷積數據；

所述信息融合池化層，用于根據所述圖卷積數據進行多跳鄰域的特征融合，得到融合數據；

所述輸出層，用于根據所述融合數據輸出模型結果。

進一步地，多階圖卷積層通過如下方式產生：

對不同階數圖卷積按照相鄰三階為一組進行分組；

組內圖卷積采用注意融合，組間圖卷積采用注意力乘數調整權重。

進一步地，在所述多跳圖卷積層的任一階數圖卷積引入新的自連接。

進一步地，所述多跳圖卷積層包括相鄰組權重共享的一階圖卷積到k階圖卷積，表示為：