[發明專利]一種圖神經網絡卷積池化方法、裝置、系統及存儲介質

在審

• 申請號: 202211278442.3
• 申請日: 2022-10-19
• 公開（公告）號: CN115564044A
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 許浩;樓柯楠;周書悅;趙洪森;張蕊華;葉振;劉佳;朱鑫淼
• 申請（專利權）人: 麗水學院
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 李懷秋

本發明涉及一種圖神經網絡卷積池化方法、裝置、系統及存儲介質。所述一種圖神經網絡卷積池化方法，計算預構建的圖神經網絡中每個節點特征與其他節點特征之間相似度，所述相似度為節點特征與其他節點特征之間相似度度量的絕對值的累加；得到圖神經網絡全部節點特征的相似度組成相似度向量，對相似度向量中元素進行排序，根據排序得到相似度最小的k個節點特征，其中，k為超參數，表示當前節點特征在池化后維護節點特征的個數，相似度最小的k個節點特征為池化后維護的節點特征。通過本申請形成的池化層應用到具有tanh激活函數的圖神經網絡中，通過相似度排序選擇節點特征避免對模型貢獻大的負值輸出被遺棄，優化圖神經網絡性能。

技術領域

本發明涉及圖神經網絡池化技術領域，尤其涉及一種圖神經網絡卷積池化方法、裝置、系統及存儲介質。

背景技術

圖神經網絡(GNNs)在許多領域的成功，如生物醫學、語義分割、推薦系統。圖神經網絡能夠從非歐氏空間的圖結構數據中提取出良好的表示形式。與卷積神經網絡(CNNs)類似，一個典型的圖神經網絡依次包含卷積濾波器、激活函數和池化運算符來提取具有非線性和不變量的特征。池化技術是GNNs和CNNs的一個關鍵區別，因為無論是CNNs中典型的最大池化還是平均池化都不適合非歐氏數據。典型的池化技術要求被處理的數據是結構化的，即滿足一個鄰域內的數據處于強相關性假設。而圖結構數據不滿足這一假設，池化技術帶來了關鍵不變性，增加了整個圖的接受域。因此，適當的池化技術在圖神經網絡中起著重要的作用。

然而，由于圖神經網絡中使用可能輸出負值的激活函數(如tanh)以及現有全局池化方法中決策標準采用可能輸出負值的激活函數。在現有的全局池化方法池化過程中，例如，通過排序池化(常見的例子為topk池化)進行池化過程中，排序池化保持了大值節點，丟棄了小值節點和負值節點，而使用的tanh激活函數將產生許多有用的負值輸出，即絕對值大的負值輸出。探索這些貢獻很多和很少的節點分別被丟棄的數量，我們在圖神經網絡中分析了它們的數量分布。根據分析，我們發現“無用”的節點在所有丟棄節點中所占比例很小，而“有用”的節點在所有丟棄節點中所占比例更大。因此，丟棄的信息問題不能通過一個簡單的絕對排序池化來解決。且不幸的是，tanh不能用正值激活函數(如ReLU、ReLU6)代替，因為這會導致性能下降。

發明內容

為了解決上述技術問題或者至少部分地解決上述技術問題，本發明提供一種圖神經網絡卷積池化方法、裝置、系統及存儲介質。

第一方面，本發明提供一種圖神經網絡卷積池化方法，包括：

計算預構建的圖神經網絡中每個節點特征與其他節點特征之間相似度，所述相似度為節點特征與其他節點特征之間相似度度量的絕對值的累加；

得到圖神經網絡全部節點特征的相似度組成相似度向量，對相似度向量中元素進行排序，根據排序得到相似度最近的k個節點特征，其中，k為超參數，表示當前節點特征在池化后維護節點特征的個數，相似度最近的k個節點特征為池化后維護的節點特征。

更進一步地，所述相似度度量包括：歐式距離、內積、余弦相似度和馬氏距離。

更進一步地，預構建的圖神經網絡包括：圖卷積層，所述圖卷積層提取節點的局部子結構特征，定義一致的節點排序；池化層，池化層使用圖神經網絡卷積池化方法統一節點大小，并對網絡施加不變性；激活層，所述圖卷積層賦予其前一層網絡層輸出結果非線性；線性層，所述線性層用于推斷輸入圖神經網絡數據的類。

更進一步地，圖卷積層實現的過程包括：

通過核權重參數對圖神經網絡節點信息進行線性變換H^(l)W^(l)并從dl通道映射到dl+1通道；將線性變換后的節點信息傳播到相鄰節點以及節點本身通過乘對角度矩陣正則化節點信息第i行以在圖卷積后保持一個固定的特征尺度；使用非線性激活函數進行非線性變換，即：