[發明專利]基于注意力的寬度圖卷積神經網絡模型系統及訓練方法有效
| 申請號： | 202011642705.5 | 申請日： | 2020-12-30 |
| 公開（公告）號： | CN112598080B | 公開（公告）日： | 2023-10-13 |
| 發明（設計）人： | 劉勛;宗建華;夏國清;葉和忠;劉強 | 申請（專利權）人： | 廣州大學華軟軟件學院 |
| 主分類號： | G06F18/214 | 分類號： | G06F18/214;G06F18/25;G06F18/2415;G06N3/0464;G06N3/084 |
| 代理公司： | 廣州三環專利商標代理有限公司 44202 | 代理人： | 郭浩輝;顏希文 |
| 地址： | 510990 廣東省廣州市從*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 注意力 寬度 圖卷 神經網絡 模型 系統 訓練 方法 | ||
1.一種基于注意力的寬度圖卷積神經網絡模型，其特征在于，所述寬度圖卷積神經網絡模型模型依次包括輸入層、注意力高階圖卷積層、信息融合池化層和輸出層；
所述輸入層，用于接收訓練數據集的圖特征；
所述注意力高階圖卷積層，用于根據所述圖特征進行零階到k階的注意力圖卷積運算，得到圖卷積數據；
所述信息融合池化層，用于根據所述圖卷積數據進行零階到k階的特征融合，得到融合數據；
所述輸出層，用于根據所述融合數據輸出模型結果。
2.如權利要求1所述的基于注意力的寬度圖卷積神經網絡模型，其特征在于，所述注意力高階圖卷積層由在不同階數圖卷積都引入注意力機制得到。
3.如權利要求2所述的基于注意力的寬度圖卷積神經網絡模型，其特征在于，在所述注意力高階圖卷積層的任一階數圖卷積引入新的自連接。
4.如權利要求3所述的基于注意力的寬度圖卷積神經網絡模型，其特征在于，所述注意力高階圖卷積層包括基于權重共享的零階圖卷積到k階圖卷積，表示為：
其中，X是圖的輸入矩陣，w是參數矩陣，是圖的正則化鄰接矩陣，k是圖卷積的最高階數，a0,a1,a2,…,ak為對應階圖卷積的注意力分數。
5.如權利要求4所述的基于注意力的寬度圖卷積神經網絡模型，其特征在于，所述寬度圖卷積神經網絡模型模型的輸出層HGCNCM表示為：
其中，σ(·)為激活函數，SP(·)為信息融合函數，softmax(·)為多分類輸出函數。
6.如權利要求5所述的基于注意力的寬度圖卷積神經網絡模型，其特征在于，所述σ激活函數為ReLU非線性激活函數。
7.如權利要求5所述的基于注意力的寬度圖卷積神經網絡模型，其特征在于，所述信息融合池化層采用SP求和信息融合池化，其計算公式如下：
8.如權利要求1－7所述任一所述的基于注意力的寬度圖卷積神經網絡模型的訓練方法，其特征在于，所述訓練方法的步驟包括：
根據訓練數據集進行預處理，得到預處理特征；
將所述預處理特征輸入所述寬度圖卷積神經網絡模型，進行特征訓練，得到訓練結果。
9.如權利要求8所述的基于注意力的寬度圖卷積神經網絡模型的訓練方法，其特征在于，所述根據訓練數據集進行預處理，得到預處理特征的步驟包括：
獲取所述訓練數據集，并確定所述訓練數據集的類型；
根據所述訓練數據集的類型，選取特定方法得到所述圖的輸入矩陣和正則化鄰接矩陣；
將所有不同階數的所述圖的正則化鄰接矩陣加權作和，得到預處理鄰接矩陣；
將所述預處理鄰接矩陣和所述圖的輸入矩陣作積，得到預處理特征。
10.如權利要求8所述的基于注意力的寬度圖卷積神經網絡模型的訓練方法，其特征在于，所述將所述預處理特征輸入所述寬度圖卷積神經網絡模型，進行特征訓練，得到訓練結果的步驟包括：
將所述寬度圖卷積神經網絡模型的參數矩陣進行隨機初始化，并將所述注意力分數初始化為特定值；
將所述預處理特征輸入所述寬度圖卷積神經網絡模型，根據學習率優化結合所述訓練數據集屬性調整所述注意力分數，并采用損失函數和梯度下降法進行訓練，得到收斂的參數矩陣。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于廣州大學華軟軟件學院，未經廣州大學華軟軟件學院許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011642705.5/1.html，轉載請聲明來源鉆瓜專利網。
