[發明專利]多視角遙感圖像配準方法及系統

在審

• 申請號: 202110305052.X
• 申請日: 2021-03-22
• 公開（公告）號: CN113012208A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 陳穎;李績鵬;王東振
• 申請（專利權）人: 上海應用技術大學;上海牛甲機電科技有限公司
• 主分類號: G06T7/38
• 分類號: G06T7/38;G06T7/33;G06N3/04;G06N3/08
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

1.一種多視角遙感圖像配準方法，其特征在于，包括如下步驟：

步驟S1：根據原始遙感圖像生成模擬多視角遙感圖像配準的數據集；所述數據集的每一數據包括一參考圖像，一待配準圖像、由待配準圖像向參考圖像變換的參數、待配準圖像的采樣點坐標以及配準后圖像的采樣點坐標；

步驟S2：通過所述數據集和基于所述采樣點的損失函數對深度神經網絡模型進行訓練和測試生成深度學習模型，所述深度學習模型包括密集配準網絡和稀疏配準網絡；

步驟S3：通過所述密集配準網絡提取參考圖像和待配準圖像的多尺度特征，對所述多尺度特征進行匹配生成多尺度特征匹配圖，根據將所述多尺度特征匹配圖生成密集圖像配準參數；

步驟S4：通所述稀疏配準網絡進行稀疏特征提取，并進行特征匹配生成稀疏匹配參數；

步驟S5：參數融合，將所述密集圖像配準參數和所述稀疏圖像配準參數進行融合生成目標配準參數；

步驟S6：重采樣，根據所述目標配準參數對待配準圖像進行重采樣，生成配準后圖像。

2.根據權利要求1所述的多視角遙感圖像配準方法，其特征在于，所述步驟S1包括如下步驟：

步驟S101：在原始遙感圖像I中隨機選定一個大小為256像素×256像素且中心坐標為p的像素區域PA1；

步驟S102：對像素區域PA1的四個頂點進行幅度為[-x，x]隨機擾動，得到新的像素區域PB且計算由像素區域PA1的四個頂點到像素區域PB的四個頂點的單應性變換矩陣HAB；

步驟S103：將單應性變換矩陣HAB的逆矩陣HBA應用于一原始遙感圖像I上得到圖像I’，再在圖像I’上的p點選定一個大小為256像素×256像素的像素區域PA2；

步驟S104：將所述像素區域PA1作為參考圖像，所述像素區域PA2作為待配準圖像，HAB作為由待配準圖像向參考圖像變換的參數；

步驟S105：在待配準圖像中隨機均勻的選擇15組采樣點坐標S，將變換矩陣HAB應用于采樣點坐標S上得到一組新的采樣點坐標S’，S作為配準圖像的采樣點坐標，S’作為配準后圖像的采樣點坐標。

3.根據權利要求1所述的多視角遙感圖像配準方法，其特征在于，所述密集配準網絡包括多尺度密集特征提取網絡、鄰域一致性網絡以及參數預測網絡；

所述步驟S3包括如下步驟：

步驟S301：采用多尺度密集特征提取網絡分別對參考圖像和待配準圖像進行特征提取，得到兩組多尺度特征圖；

步驟S302：采用雙向相關運算對相同尺度的兩幅特征圖進行特征匹配生成一組多尺度特征匹配圖；

步驟S303：采用鄰域一致性網絡對多尺度特征匹配圖進行外點剔除，得到一組特征匹配圖；

步驟S304：將融合后的特征匹配圖輸入參數預測網絡，得到密集圖像配準參數。

4.根據權利要求1所述的多視角遙感圖像配準方法，其特征在于，所述稀疏配準網絡包括稀疏特征提取網絡、圖神經網絡以及參數預測層；

所述步驟S4包括如下步驟：

步驟S401：采用稀疏特征提取網絡分別對參考圖像和待配準圖像進行特征提取，得到兩組特征點；

步驟S402：采用圖神經網絡對兩組特征點進行特征匹配，得到匹配參數；

步驟S403：所述參數預測層根據所述匹配參數計算得到稀疏圖像配準參數。

5.根據權利要求1所述的多視角遙感圖像配準方法，其特征在于，所述采樣點的離損失函數L(θ′，θ_GT)，定義如下式：

其中，N取15，為采樣點的數量，d為計算兩組采樣點距離的函數，S為采樣點，θ‘為模型預測的參數，θ_GT為配準數據集中的真實參數，為配準數據集中對應的真實變換，T_θ為模型預測的變換。

6.根據權利要求1所述的多視角遙感圖像配準方法，其特征在于，所述密集配準參數和所述稀疏配準參數的融合權值比例為0.5比0.5。