[發明專利]多視角遙感圖像配準方法及系統

在審

• 申請號: 202110305052.X
• 申請日: 2021-03-22
• 公開（公告）號: CN113012208A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 陳穎;李績鵬;王東振
• 申請（專利權）人: 上海應用技術大學;上海牛甲機電科技有限公司
• 主分類號: G06T7/38
• 分類號: G06T7/38;G06T7/33;G06N3/04;G06N3/08
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

本發明提供了一種多視角遙感圖像配準方法及系統，包括：根據原始遙感圖像生成模擬多視角遙感圖像配準的數據集；通過數據集和基于采樣點的損失函數對深度神經網絡模型進行訓練生成深度學習模型，深度學習模型包括密集配準網絡和稀疏配準網絡；通過密集配準網絡提取參考圖像和待配準圖像的多尺度特征，對多尺度特征進行匹配生成多尺度特征匹配圖，根據將多尺度特征匹配圖生成密集圖像配準參數；通稀疏配準網絡進行稀疏特征提取，并進行特征匹配生成稀疏匹配參數；將密集圖像配準參數和稀疏圖像配準參數進行融合生成目標配準參數；根據目標配準參數對待配準圖像進行重采樣，生成配準后圖像。本發明能夠實現復雜場景下多視角遙感圖像高精度配準。

技術領域

本發明涉及圖像配準技術，具體地，涉及一種端到端的融合多尺度鄰域一致性網絡與圖神經網絡的多視角遙感圖像配準方法。

背景技術

遙感圖像是指由航空器或衛星上成像系統獲得的具有地面目標特征的圖像。多視角遙感圖像指兩幅圖像(分別稱作參考圖像和待配準圖像)由同一傳感器采集，但采集視角有水平或(和)垂直方向上的改變。多視角遙感圖像配準是實現圖像輔助導航，導彈制導等應用的核心技術。

基于稀疏圖像特征(sparse image feature)的配準是目前多視角遙感圖像配準中的主要技術，可大致分為特征點提取和特征點匹配兩步。首先從待配準的兩幅圖像中提取特征點，再通過最近鄰匹配與RANSAC算法對兩個點集進行特征點匹配和外點剔除，最后通過應用某種變換得到配準后圖像。Lowe博士于04年完善了尺度不變特征變換(ScaleInvariant Feature Transform，SIFT)算法，具有很高的精度及魯棒性，對圖像旋轉、縮放、尺度都具有不變性。后續有很多學者在該方法的基礎上進行質量上的改進，但是，基于點特征的自動檢測算法的健壯性依然不如人工標注的特征點，尤其是在多視角遙感圖像配準中，同一物體在多視角下產生的特征點可能無法匹配甚至錯誤匹配，原因在于，基于特征點的算法往往更關注圖像底層像素級的信息，而忽略圖像本身表達的高級特征，因此有很多研究嘗試在點特征基礎上使用線特征或更復雜的特征進行檢測，但提升有限。另外，稀疏圖像特征在處理圖像非剛性變換時也存在不足。

近年，遙感圖像配準領域嘗試使用基于深度學習的方法改進特征提取的性能，如Wang博士等通過有監督學習預測兩幅圖像是否來自同一區域，以此來分辨特征點是否匹配正確；Yang博士等使用VGG-16網絡的多層特征圖融合結果生成特征點，對多時相遙感圖像進行特征提取，再使用改進的CPD算法進行特征匹配。通過在特征提取階段引入深度學習，遙感圖像配準任務得到了較好反饋，但只將深度神經網絡當作特征提取器并不能充分利用深度學習的能力，此類方法對深度學習的利用不足，在匹配階段依然需要傳統算法介入，面對復雜的多視角遙感圖像時依然會出現較多錯誤，同時，深度學習需要大量數據作為訓練依據，傳統遙感圖像配準領域缺少公開的數據集，因此，如何獲取大量數據也是訓練多視角遙感圖像配準模型所面臨的主要困難。

最近有研究使用深度神經網絡代替特征提取及特征匹配兩步，即使用端到端的方式對圖像進行配準。Detone博士等使用深度學習對兩幅圖像的單應性變換進行估計，其使用人工合成的數據集進行訓練，達到了比傳統算法更高的精確度。Rocco 等更進一步設計了一種端到端的框架，進行實例級、類級的圖像配準，測試表明該模型在真實場景中也能達到較準確的配準結果。Kim博士等提出一種兩階段配準模型，第一階段預測旋轉變換，第二階段預測仿射變換，在多時相遙感圖像中取得了更好的表現。Park等對待配準圖像進行預處理，使網絡接受參考、待配準和增強三幅圖像，并利用圖像全局變換的同構性對模型進行訓練，經過測試，該算法在地表變化較大的遙感圖像配準中有更高的準確度。該類方法對特征提取和特征匹配兩個任務同時訓練，在復雜的非剛性圖像配準場景中能得到更好的結果，但此類方法也有缺陷：其使用密集圖像特征(dense image feature)提取技術，導致最終圖像配準精度暫時達不到亞像素要求。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種多視角遙感圖像配準方法及系統，解決復雜場景下多視角遙感圖像配準精度低的問題。