[發明專利]基于偽孿生卷積神經網絡的SAR和光學遙感圖像配準方法

有效

• 申請號: 201911256966.0
• 申請日: 2019-12-10
• 公開（公告）號: CN111028277B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 帥通;董喆;孫建國;田左;關鍵;林尤添;田野;袁野;劉加貝;肖飛揚;尹晗琦
• 申請（專利權）人: 中國電子科技集團公司第五十四研究所;哈爾濱工程大學
• 主分類號: G06T7/33
• 分類號: G06T7/33
• 代理公司: 哈爾濱市哈科專利事務所有限責任公司 23101
• 代理人: 吳振剛

本發明公開了遙感圖像配準技術領域的基于偽孿生卷積神經網絡的SAR和光學遙感圖像配準方法，先對特征圖像塊的采集和匹配，再進行異常點去除和最終配準，采用了最大化正樣本和難負樣本之間的特征距離的策略，并且定義了新的損失函數對網絡進行訓練，偽孿生網絡的兩個分支通過卷積運算連接，得到兩個輸入圖像塊之間的相似性得分；本發明通過提出了偽孿生卷積神經網絡體系結構，使得偽孿生網絡的左分支和右分支能夠分別輸入不同大小的光學和SAR遙感圖像，能夠解決在極高分辨率下光學和SAR遙感圖像中識別相應圖像塊的任務。

技術領域

本發明涉及遙感圖像配準技術領域，具體涉及基于偽孿生卷積神經網絡的SAR和光學遙感圖像配準方法。

背景技術

近幾十年來，通過遙感(Remote Sensing,RS)進行的地球監測在軍事和民生中都得到了廣泛的應用。多模遙感圖像中含有許多互補信息，有利于許多遙感應用。為此，圖像配準是利用多模圖像的常見要求。然而，由于成像機制的不同，多模圖像配準比普通圖像配準更具挑戰性，尤其是對光學和合成孔徑雷達(Synthetic Aperture Radar,SAR)圖像來說。由于成像機制的不同，在光學和SAR圖像尋找共同特征是非常困難的。并且隨著空間分辨率的提高，兩個不同傳感器之間幾何形狀和輻射測量差異的現有差距進一步擴大了。

遙感圖像配準有兩個關鍵步驟。第一步是構造一組盡可能在圖像上均勻分布的對應點(Corresponding Point,CP)。第二步是基于對應點估計空間變換(如仿射變換或射影變換)。由于構造假定對應點的方式不同，圖像配準可以分為兩類—基于特征的方法和基于區域的方法。

對于基于特征的方法，如果對應點周圍具有最相似的結構，則我們假定這組對應點是匹配的。首先，從主圖像和從圖像中檢測出周圍結構顯著的候選特征點。使用局部結構信息(主要是梯度信息)生成特征描述子。具有最小描述子距離的點對被認作對應點對。許多手工制作的特征(如SIFT,SURF,ORB)都是為點匹配而設計的，不過大多數都無法應用于多模圖像配準中。

基于區域的方法首先從主圖像中生成一組候選特征點。對于每個特征點，它試圖在局部搜索窗口內找到從圖像上的對應關系。我們用局部強度之間的相似性來定義用于定位對應關系的度量。因此，相似性度量的定義對于基于區域的方法是必不可少的。歸一化互相關(Normalization Cross-correlation,NCC)和互信息(Mutual Information,MI)是兩個基線相似性度量。NCC度量主要用于光學圖像配準，但在多模圖像配準中總是失敗。相比之下，MI對復雜的輻射變化具有更強的魯棒性，并且廣泛應用于多模圖像配準。

多模圖像配準的理想特征應該是獨特的，并且對由不同成像條件引起的各種非線性度量變化具有魯棒性。手工制作的特征或MI不足以描述高度非線性的關系。眾所周知，卷積神經網絡的出現已經徹底改變了幾乎所有的計算機視覺問題。在圖像配準領域，基于學習的特征已經引起了人們的廣泛關注。在一些視覺任務上，學習到的特征比手工編寫的描述子表現得更好，但是它們還沒有展現出壓倒性的優勢，經典的局部圖像塊檢測器和描述子仍然提供十分有競爭力的配準結果。出現這種結果的一個原因是，將圖像配準任務重新表述為可區分的端到端過程是十分具有挑戰性的。此外，在遙感圖像配準方面，當前用于訓練的本地圖像塊數據集還不夠大和多樣化，還不允許學習高質量和廣泛適用的描述子。

深度特征也在遙感領域中得到了更多的使用。然而到目前為止，在不同的遙感領域，大多數深度學習相關的研究都集中在分類和檢測相關的任務上。對于遙感圖像配準，深度學習剛取得了成功。目前，幾乎所有的遙感圖像都是用緯度和經度進行地理編碼的。理論上，經過正確地理編碼的遙感圖像已經進行了配準，但是空間姿態角的不準確測量往往會導致地理定位誤差，需要進行進一步優化。基于此，本發明設計了基于偽孿生卷積神經網絡的SAR和光學遙感圖像配準方法，以解決上述問題。

發明內容

本發明的目的在于提供基于偽孿生卷積神經網絡的SAR和光學遙感圖像配準方法，以解決上述背景技術中提出的SAR與光學圖像配準效果差、精度低的問題。