[發明專利]基于偽孿生卷積神經網絡的SAR和光學遙感圖像配準方法

有效

• 申請號: 201911256966.0
• 申請日: 2019-12-10
• 公開（公告）號: CN111028277B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 帥通;董喆;孫建國;田左;關鍵;林尤添;田野;袁野;劉加貝;肖飛揚;尹晗琦
• 申請（專利權）人: 中國電子科技集團公司第五十四研究所;哈爾濱工程大學
• 主分類號: G06T7/33
• 分類號: G06T7/33
• 代理公司: 哈爾濱市哈科專利事務所有限責任公司 23101
• 代理人: 吳振剛

1.基于偽孿生卷積神經網絡的SAR和光學遙感圖像配準方法，包括SAR和光學遙感圖像，其特征在于，對所述SAR和光學遙感圖像進行配準，配準的具體步驟如下：

第一步，特征圖像塊的采集和匹配

Step1，對主圖像進行基于塊的Harris特征點檢測，從主圖像提取Harris特征點周圍的局部候選圖像塊；

Step2，圍繞主Harris特征點的相同地理位置，在從圖像中提取更大的局部搜索圖像塊；

Step3，所述局部候選圖像塊及對應的局部搜索圖像塊被輸送作為偽孿生卷積網絡的輸入；

第二步，異常點去除和最終配準

Step4，將偽孿生卷積神經網絡輸出的相似性得分作為匹配置信度的指標，并作為唯一指標來判斷一個假定的對應點是否為異常值，即判斷CP是否為異常值，假定CP的分值越大，則CP是正確值的可能性越大；

Step5，通過移除所有分數值小于給定閾值Tscore的假定CPs來執行異常值移除。

2.根據權利要求1所述的基于偽孿生卷積神經網絡的SAR和光學遙感圖像配準方法，其特征在于，構建一個偽孿生卷積神經網絡模型，所述偽孿生卷積神經網絡采用了最大化正樣本和難負樣本之間的特征距離的策略，具體步驟如下：

第一步，通過卷積層對SAR和光學圖像塊進行特征提取，在偽孿生卷積神經網絡中，使用感受野為3×3的卷積濾波器，因為3×3卷積濾波器是捕獲不同方向圖案的最小核，其次實用小的卷積濾波器可以增加網絡內部的非線性，從而使網絡更有辨別力；

第二步，所述偽孿生卷積神經網絡具有兩個分離但相同的卷積流，用于處理SAR和光學圖像十分不同的幾何和輻射外觀，并行處理SAR圖像塊和光學圖像塊，并且僅在之后的決策階段融合結果信息，所述SAR圖像塊和光學圖像塊通過卷積層進行特征提取，兩個分離的所述卷積流網絡包括8個卷積層和3個最大值池化層，卷積層輸入的空間填充使得卷積后保持空間分辨率，使用感受野為3×3的卷積濾波器，所述偽孿生卷積神經網絡中卷積步長固定為一個像素，所述偽孿生卷積神經網絡中的所有3×3卷積層，填充為1個像素，空間池化通過執行7個最大值池化層，所述池化層在卷積層之后，用于降低特征圖的維數，最大值池化在步長為2的2×2的像素窗口上執行。

3.根據權利要求2所述的基于偽孿生卷積神經網絡的SAR和光學遙感圖像配準方法，其特征在于，所述偽孿生卷積神經網絡的融合階段包括兩個連續的卷積層，后面跟著兩個全連接層，所述卷積層由3×3的濾波器組成，所述濾波器用于對SAR和光學的級聯特征映射進行操作，以便學習使最終損失函數最小化的融合規則，在融合階段，第一卷積層之后最大值池化被省略，并且設定步長為2以便在保留空間信息的同時對特征圖進行下采樣，使用3×3濾波器，并且第一次卷積后沒有最大值池化，令步長為2來減小特征大小，融合網絡的最后階段由兩個完全連接的層組成，第一層包含512個信道，而第二層執行獨熱二進制分類，包含2個信道。