[發(fā)明專利]SAR衛(wèi)星圖像與光學(xué)圖像自動匹配方法

有效

• 申請?zhí)枺?/td>: 202110337947.1
• 申請日: 2021-03-30
• 公開（公告）號: CN113223065B
• 公開（公告）日: 2023-02-03
• 發(fā)明（設(shè)計）人: 葛雨辰;熊召龍;賴作鎂
• 申請（專利權(quán)）人: 西南電子技術(shù)研究所(中國電子科技集團公司第十研究所)
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/41;G06T7/11;G06V10/44;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 成都九鼎天元知識產(chǎn)權(quán)代理有限公司 51214
• 代理人: 劉凱

1.一種SAR衛(wèi)星圖像與光學(xué)圖像自動匹配方法，其特征在于包括如下步驟：首先，利用先驗地理編碼對SAR衛(wèi)星圖像和光學(xué)圖像進行預(yù)配準(zhǔn)，然后采用滑窗的手段分別對SAR衛(wèi)星圖像與光學(xué)圖像進行等間隔采樣，收集待提取特征的圖像塊對，通過地理編碼預(yù)處理后的SAR和光學(xué)圖像將按照既定窗口大小w×w與步長s進行截取，獲得長度為N的圖像塊序列同時記錄每一個圖像塊位置；在圖像塊候選序列中進行篩除，利用紋理顯著性篩除算法僅保留同時在SAR源與光學(xué)源圖像塊中具有顯著紋理的圖像塊對；其次，將SAR衛(wèi)星圖像與光學(xué)的圖像塊對輸入預(yù)訓(xùn)練的偽孿生深度神經(jīng)粗匹配網(wǎng)絡(luò)A，特征提取網(wǎng)絡(luò)提取特征并獲取兩幅圖像符合相關(guān)性門限的點作為粗匹配結(jié)果，在對全圖所有的粗匹配結(jié)果進行統(tǒng)計，排除異常匹配結(jié)果，并對SAR衛(wèi)星圖像塊進行重剪裁；將剪裁后的SAR衛(wèi)星圖像與光學(xué)的圖像塊對輸入孿生深度神經(jīng)精匹配網(wǎng)絡(luò)B進行精準(zhǔn)匹配，獲取SAR衛(wèi)星圖像與光學(xué)圖像精匹配結(jié)果；最后利用隨機抽樣一致性算法Ransac對全圖所有的特征塊對進行Ransac隨機抽樣一致性處理，獲取全圖最終的匹配結(jié)果。

2.如權(quán)利要求1所述的SAR衛(wèi)星圖像與光學(xué)圖像自動匹配方法，其特征在于：為獲取圖像塊間的偏移位置，在光學(xué)圖像塊中心部分截取位置，根據(jù)縮放倍數(shù)n，預(yù)截取大小為w/n×w/n的圖像塊，對預(yù)截取的光學(xué)圖像塊進行進一步切割，得到截取后的第i個光學(xué)圖像塊獲得的圖像塊候選序列

3.如權(quán)利要求1所述的SAR衛(wèi)星圖像與光學(xué)圖像自動匹配方法，其特征在于：在顯著紋理提取階段，使用圖像熵、圖像顯著性檢測、卷積網(wǎng)絡(luò)進行排查，在圖像塊候選序列中進行篩除，篩選保留同時在SAR源與光學(xué)源圖像塊中具有顯著紋理的圖像塊對。

4.如權(quán)利要求1所述的SAR衛(wèi)星圖像與光學(xué)圖像自動匹配方法，其特征在于：偽孿生深度神經(jīng)粗匹配網(wǎng)絡(luò)A包括：連接SAR衛(wèi)星圖像塊的SAR衛(wèi)星圖像塊分支CNN卷積神經(jīng)網(wǎng)絡(luò)A1，連接光學(xué)圖像塊的光學(xué)圖像分支CNN卷積神經(jīng)網(wǎng)絡(luò)A2，SAR衛(wèi)星圖像塊分支CNN卷積神經(jīng)網(wǎng)絡(luò)A1與光學(xué)圖像分支CNN卷積神經(jīng)網(wǎng)絡(luò)A2通過相關(guān)計算模塊進行連接。

5.如權(quán)利要求4所述的SAR衛(wèi)星圖像與光學(xué)圖像自動匹配方法，其特征在于：CNN卷積神經(jīng)網(wǎng)絡(luò)A1和A2輸出各自的特征圖像F_SAR與F_opt，隨后特征圖像F_SAR與F_opt經(jīng)歷相關(guān)性計算模塊獲取SAR與光學(xué)圖像的粗匹配熱力圖，將熱力值大于定熱力圖門限Th的粗匹配結(jié)果全部保存，以作后續(xù)處理。

6.如權(quán)利要求1所述的SAR衛(wèi)星圖像與光學(xué)圖像自動匹配方法，其特征在于：孿生深度神經(jīng)精匹配網(wǎng)絡(luò)B包括：連接SAR衛(wèi)星圖像塊的SAR衛(wèi)星圖像塊分支CNN卷積神經(jīng)網(wǎng)絡(luò)B1，連接光學(xué)圖像塊的光學(xué)圖像分支CNN卷積神經(jīng)網(wǎng)絡(luò)B2，SAR衛(wèi)星圖像塊分支CNN卷積神經(jīng)網(wǎng)絡(luò)B1與光學(xué)圖像分支CNN卷積神經(jīng)網(wǎng)絡(luò)B2通過相關(guān)計算模塊進行連接。

7.如權(quán)利要求1所述的SAR衛(wèi)星圖像與光學(xué)圖像自動匹配方法，其特征在于：為保證光學(xué)圖像塊P_opt′處于SAR圖像塊之中，采用更大尺度的特征壓縮網(wǎng)絡(luò)縮減待匹配的特征維度，并采用卷積、注意力機制和特征金字塔組成特征提取網(wǎng)絡(luò)。

8.如權(quán)利要求1所述的SAR衛(wèi)星圖像與光學(xué)圖像自動匹配方法，其特征在于：對偽孿生深度神經(jīng)粗匹配網(wǎng)絡(luò)A粗匹配結(jié)果的x和y坐標(biāo)分別進行統(tǒng)計，遵循高斯分布的異常值檢測原理，剔除匹配結(jié)果中x或y坐標(biāo)位于3σ范圍之外的圖像塊，同時根據(jù)每一對圖像塊的粗匹配結(jié)果裁剪出SAR衛(wèi)星圖像塊將之與光學(xué)圖像塊重新配對，構(gòu)成圖像序列并記錄坐標(biāo)。

9.如權(quán)利要求8所述的SAR衛(wèi)星圖像與光學(xué)圖像自動匹配方法，其特征在于：對全圖所有粗匹配獲的結(jié)果進行統(tǒng)計，排除異常匹配結(jié)果，并根據(jù)粗匹配結(jié)果裁剪SAR衛(wèi)星圖像塊范圍。