[發明專利]一種空間金字塔圖卷積網絡實現方法

在審

• 申請號: 202010108770.3
• 申請日: 2020-02-21
• 公開（公告）號: CN111340189A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 林宙辰;李夏
• 申請（專利權）人: 之江實驗室
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F17/16;G06N5/04
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種空間金字塔圖卷積網絡實現方法，該方法首先生成針對深度網絡特征圖的關聯矩陣，并通過對其進行分解和使用乘法結合律，導出了高效的計算方法，從而可以使圖卷積直接在原始特征空間進行。本發明作為一種輕量級網絡，打破了過往方法中圖卷積需要在語義節點中進行的局限，并且通過在多個尺度上進行圖推理，進一步提升了網絡的表達能力；本發明能夠有效地解決全卷積網絡感知域不足的問題，顯著地提升全卷積網絡的性能；本發明提出的圖卷積方案，在計算機視覺中的密度預測任務中取得了顯著的性能，示例與實驗充分驗證了本發明的有效性和潛在應用價值。

技術領域

本發明屬于圖卷積網絡和深度網絡結構設計領域，尤其涉及一種空間金字塔圖卷積網絡實現方法。

背景技術

近年來，基于全卷積網絡的網絡結構在計算機視覺任務中取得了巨大的成功。全卷積網絡僅由卷積層和池化層構成，通過堆疊卷積層，網絡的理論感知域可以隨網絡深度增大而增加。但是其有效感知域有限，因此它們只能為每個捕獲局部信息。因此，全卷積網絡難以捕獲復雜的上下文信息。而對于密集預測任務，如語義分割、深度估計等，上下文信息非常關鍵。這一問題限制了全卷積網絡的性能。

目前已有諸多方法來嘗試解決這一問題。基于空洞卷積的空間金字塔提出使用不同的卷積膨脹系數來捕獲不同距離的上下文信息。可變形卷積通過學習卷積位置的偏移，來自適應地決定最終感知域。非局部神經網絡和雙重注意力網絡嘗試引入新的交互模塊使像素感知整個空間。遞歸神經網絡也被用來執行遠程推理。上述幾種方法，擴大了感知域，能夠幫助網絡捕捉遠程信息，但存在計算量大的問題。

標準卷積在非結構數據上進行延拓，產生了圖卷積。后續的研究對圖卷積公式進行了近似計算，以減少計算成本和訓練成本。基于上述工作，圖卷積在半監督學習、節點或圖分類以及分子預測等圖結構數據上取得了一系列的成果。鑒于圖卷積能夠捕獲全局信息，因此它被作為標準卷積的補充，而引入了全卷積網絡中。這些方法首先將像素映射到語義節點空間，在語義空間進行圖卷積操作，而后映射回像素空間。

發明內容

本發明的目的在于針對現有技術的不足，提供一種空間金字塔圖卷積網絡實現方法。本發明通過在原始特征空間執行緊湊的圖卷積操作，能夠有效地增大網絡有效感知域，解決全卷積網絡感知域不足的問題。

本發明的目的是通過以下技術方案來實現的：一種空間金字塔圖卷積網絡實現方法，包括以下步驟：

(1)圖像經過卷積網絡后得到原始尺度的特征X⁰，然后對X⁰下采樣得到多尺度特征，公式如下：

X^s+1＝∏_down(X^s)

其中，∏_down表示下采樣；上標表示尺度層級，范圍為0～S，X^s+1、X^s表示尺度層級為s、s+1的特征；

(2)對步驟(1)得到的多尺度特征進行圖卷積，然后進行上采樣并加上前一級尺度特征的圖卷積輸出，最后得到網絡的輸出Y⁰，公式如下：

Y^s＝GR(X^s)+∏_up(Y^s+1)

其中，Y^s表示第s級尺度特征的網絡輸出，且Y^S＝GR(X^S)，X^S為最小尺度的特征；GR表示圖卷積；∏_up表示上采樣。

進一步地，所述圖卷積由以下步驟實現：

(2.1)輸入特征圖X∈R^H×W×C；其中，H,W,C分別指特征圖X的高、寬和通道數；

(2.2)獲得關聯矩陣A，包括以下子步驟：