[發明專利]基于注意力的寬度圖卷積神經網絡模型系統及訓練方法

有效

• 申請號: 202011642705.5
• 申請日: 2020-12-30
• 公開（公告）號: CN112598080B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 劉勛;宗建華;夏國清;葉和忠;劉強
• 申請（專利權）人: 廣州大學華軟軟件學院
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06F18/25;G06F18/2415;G06N3/0464;G06N3/084
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;顏希文

本發明提供了一種基于注意力的寬度圖卷積神經網絡模型及其訓練方法，所述模型依次包括輸入層、注意力高階圖卷積層、融合多階鄰域信息的SP信息融合池化層和softmax函數多分類輸出層，所述模型對應的訓練方法為先預處理得到預處理特征后，將其輸入模型訓練的高效訓練方法。本實施例采用注意力高階圖卷積層增加模型寬度、降低模型深度、減少參數量和復雜度的同時，還能聚集更豐富的節點信息、賦予自身節點更高權重，及區分不同鄰域節點的分類貢獻度，進而在擴寬模型感受野、避免過擬合風險的同時，使得模型的構建和應用更貼合實際，進一步提升模型的學習能力、穩定性和分類精度。

技術領域

本發明涉及圖像處理及深度學習技術領域，特別是涉及一種基于注意力的寬度圖卷積神經網絡模型及其訓練方法。

背景技術

隨著圖卷積神經網絡機器學習研究地不斷加深，能夠聚集更豐富節點信息且能擴寬模型感受野、提升分類表現的高階圖卷積網絡模型和高低階圖卷積網絡模型先后被不同的研究者提出。現有的高階圖卷積網絡模型和高低階圖卷積網絡模型的分類表現在一定程度上都達到了研究者的預期，但它們仍有不足之處：高階圖卷積網絡模型設計了一種包括一階圖卷積到P階圖卷積，不同階卷積使用不同權重參數，利用兩個高階圖卷積層學習高階節點之間的關系和聚集不同距離鄰域節點信息的高階圖卷積，且在每個高階圖卷積聚集了不同距離的鄰域信息后，利用列連接將這些鄰域信息進行拼接，最后通過一個全連接層融合這些鄰域信息的網絡架構，由于其采用不同階卷積不同的權重參數、堆疊多個高階圖卷積層，及全連接融合不同距離鄰域信息的技術必要會造成復雜度增大，參數量成倍增加，進而增加了過擬合風險；雖然高低階圖卷積網絡模型采用權重共享機制一定程度上較少了參數量，但其同樣堆疊了多層高低階圖卷積層使得模型的參數量和復雜度并沒有顯著減少，同樣不能避免過擬合風險。此外，高階圖卷積網絡模型和高低階圖卷積網絡模型都未對不同距離鄰域節點對于分類預測的重要性加以區分，而是同等重要的考慮不同距離鄰域節點的貢獻度，與現實信息有一定的偏差，一定程度上會影響分類預測的效果。

因此，如何基于現有高階圖卷積網絡和高低階圖卷積網絡的研究，區分不同距離鄰域節點對分類預測的重要性，在保證現有模型的分類表現、減少計算復雜度和參數量及避免過擬合風險的基礎上，使得模型的構建和應用更貼近現實是非常有意義的。

發明內容

本發明的目的是減少現有高階圖卷積網絡和高低階圖卷積網絡的計算復雜度和參數量，避免過擬合風險的同時，區分不同距離鄰域節點對于預測任務的重要性，使得模型的構建和應用更貼近現實，進而提高分類表現。

為了實現上述目的，有必要針對上述技術問題，提供了一種基于注意力的寬度圖卷積神經網絡模型及其訓練方法。

第一方面，本發明實施例提供了一種基于注意力的寬度圖卷積神經網絡模型，所述寬度圖卷積神經網絡模型模型依次包括、注意力高階圖卷積層、信息融合池化層和輸出層；

所述輸入層，用于接收訓練數據集的圖特征；

所述注意力高階圖卷積層，用于根據所述圖特征進行零階到k階的注意力圖卷積運算，得到圖卷積數據；

所述信息融合池化層，用于根據所述圖卷積數據進行零階到k階的特征融合，得到融合數據；

所述輸出層，用于根據所述融合數據輸出模型結果。

進一步地，所述注意力高階圖卷積層由在不同階數的圖卷積都引入注意力機制得到。

進一步地，在所述注意力高階圖卷積層的任一階數圖卷積引入新的自連接。

進一步地，所述注意力高階圖卷積層包括基于權重共享的零階圖卷積到k階圖卷積，表示為：