[發明專利]一種基于圖卷積神經網絡的圖像配準方法

在審

• 申請號: 202011025452.7
• 申請日: 2020-09-25
• 公開（公告）號: CN112164100A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 肖國寶;鄭偉;鐘振;劉鑫
• 申請（專利權）人: 閩江學院
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06N3/04;G06N3/08
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學俊

本發明涉及一種基于圖卷積神經網絡的圖像配準方法，包括步驟：獲得圖像對的關鍵點，并初始化關鍵點匹配；將初始匹配對輸入到多層感知機獲得每個匹配對的特征點信息；將初始匹配對輸入到圖卷積神經網絡獲得每個匹配點對的局部圖空間特征信息；將匹配點對的特征點信息與局部圖空間特征信息聯合后輸入到多層感知機學習聯合特征，并輸出最終特征；利用輸出的最終特征計算損失值，并采用反向傳播算法調整網絡參數。本發明有效提高了配準精度。

技術領域

本發明涉及計算機視覺技術領域，特別是一種基于圖卷積神經網絡的圖像配準方法。

背景技術

越來越多的計算機視覺產品融入到我們的日常生活中，而現實生活中復雜的數據對計算機視覺算法要求越來越高。估計兩圖像之間的幾何關系是計算機視覺鄰域的基礎問題，在Structure from Motion和Simultaneous Localization and Mapping里扮演了重要的角色。在圖像配準里，傳統的外點去除算法比如有RANSAC(Fischler MA,BollesRC.Random sample consensus:a paradigm for model fitting with applications toimage analysis and automated cartography.Communications ofthe ACM.1981Jun 1；24(6):381-95.)是標準算法，也是最流行的外點去除算法。GMS(Bian J,Lin WY,Matsushita Y,Yeung SK,Nguyen TD,Cheng MM.Gms:Grid-based motion statistics forfast,ultra-robust feature correspondence.InProceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition 2017(pp.4181-4190).)。隨著深度學習在近幾年的表現的性能越來越高，將深度學習用于圖像匹配的算法也日益增多。但是目前還沒有一種將圖卷積神經網絡(GCN)用于圖像配準的方案，一是因為沒有有效圖卷積可以用于圖像配準，二是因為非剛性變換的緣故，無法采取有效的取鄰居策略。

發明內容

有鑒于此，本發明的目的是提出一種基于圖卷積神經網絡的圖像配準方法，有效提高了配準精度。

本發明采用以下方案實現：一種基于圖卷積神經網絡的圖像配準方法，具體包括以下步驟：

獲得圖像對的關鍵點，并初始化關鍵點匹配；

將初始匹配對輸入到多層感知機獲得每個匹配對的特征點信息；

將初始匹配對輸入到圖卷積神經網絡獲得每個匹配點對的局部圖空間特征信息；

將匹配點對的特征點信息與局部圖空間特征信息聯合后輸入到多層感知機學習聯合特征，并輸出最終特征；

利用輸出的最終特征計算損失值，并采用反向傳播算法調整網絡參數。

進一步地，所述獲得圖像對的關鍵點，并初始化關鍵點匹配對及數據集具體為：

采用特征提取算法提取2D配準圖像中關鍵點坐標的假設匹配對，得到其中，N為匹配點對的個數，p_i為其中的一個假設匹配對，與為一對匹配對的坐標。

進一步地，所述將初始匹配對輸入到多層感知機獲得每個匹配對的特征點信息具體包括以下步驟：

步驟S21：采用一層共享感知機將初始匹配對的集合P＝[p₁；p₂；...；p_i；...；p_N]映射到其中，N為匹配點對的個數，M為特征通道數；