[發明專利]一種基于圖卷積神經網絡的圖像配準方法

在審

• 申請號: 202011025452.7
• 申請日: 2020-09-25
• 公開（公告）號: CN112164100A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 肖國寶;鄭偉;鐘振;劉鑫
• 申請（專利權）人: 閩江學院
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06N3/04;G06N3/08
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學俊

1.一種基于圖卷積神經網絡的圖像配準方法，其特征在于，包括以下步驟：

獲得圖像對的關鍵點，并初始化關鍵點匹配；

將初始匹配對輸入到多層感知機獲得每個匹配對的特征點信息；

將初始匹配對輸入到圖卷積神經網絡獲得每個匹配點對的局部圖空間特征信息；

將匹配點對的特征點信息與局部圖空間特征信息聯合后輸入到多層感知機學習聯合特征，并輸出最終特征；

利用輸出的最終特征計算損失值，并采用反向傳播算法調整網絡參數。

2.根據權利要求1所述的一種基于圖卷積神經網絡的圖像配準方法，其特征在于，所述獲得圖像對的關鍵點，并初始化關鍵點匹配對及數據集具體為：

采用特征提取算法提取2D配準圖像中關鍵點坐標的假設匹配對，得到其中，N為匹配點對的個數，p_i為其中的一個假設匹配對，與為一對匹配對的坐標。

3.根據權利要求1所述的一種基于圖卷積神經網絡的圖像配準方法，其特征在于，所述將初始匹配對輸入到多層感知機獲得每個匹配對的特征點信息具體包括以下步驟：

步驟S21：采用一層共享感知機將初始匹配對的集合P＝[p₁；p₂；...；p_i；...；p_N]映射到其中，N為匹配點對的個數，M為特征通道數；

步驟S22：將N個匹配點對輸入到基礎殘差網絡結構中，獲得每個匹配對的映射特征輸出其中，C₁為特征通道的維數。

4.根據權利要求3所述的一種基于圖卷積神經網絡的圖像配準方法，其特征在于，所述基礎殘差網絡結構包括一層共享感知機MLP、一個實例歸一化層IN，一個批量歸一化層BN，和一個矯正線性單元ReLU。

5.根據權利要求1所述的一種基于圖卷積神經網絡的圖像配準方法，其特征在于，所述圖卷積神經網絡包括一個以上的圖卷積模塊、一個以上的池化層、共享感知機網絡MLP；每個圖卷積模塊中包括一層圖卷積層以及一層ReLU層；

通過圖卷積層提取輸入數據的圖卷積特征，通過池化層對提取的圖卷積特征進行池化操作，在每次池化后再次構建每個匹配對的最近鄰以輸入到下一個圖卷積層，之后將不同空間關系下的圖卷積特征以通道維合并，最后采用共享感知機網絡MLP對聯合特征進行學習，得到每個匹配點對的局部圖空間特征信息其中N為輸入的匹配點對數量，C₂為特征通道的維數。

6.根據權利要求1所述的一種基于圖卷積神經網絡的圖像配準方法，其特征在于，所述將匹配點對的特征點信息與局部圖空間特征信息聯合后輸入到多層感知機學習聯合特征，并輸出最終特征具體為：

將每個匹配點對的特征點信息out₁與局部圖空間特征信息out₂通過特征通道維合并，得到

將依次輸入到一個以上的基礎殘差網絡以及一層感知機層，獲得網絡預測的邏輯值

7.根據權利要求1所述的一種基于圖卷積神經網絡的圖像配準方法，其特征在于，所述利用輸出的最終特征計算損失值，并采用反向傳播算法調整網絡參數具體為：

通過加權八點算法計算出最后的輸出的本質矩陣

用損失函數計算損失值，并通過反向傳播算法調整網絡參數。

8.根據權利要求7所述的一種基于圖卷積神經網絡的圖像配準方法，其特征在于，所述損失值loss的計算為：

式中，l_ess為由加權八點算法預測最后輸出的本質矩陣和真值本質矩陣E之間的本質矩陣誤差；l_cls為二值交叉熵損失函數，z表示真值標簽，s表示網絡輸出的權重。