[發(fā)明專利]SAR衛(wèi)星圖像與光學圖像自動匹配方法

有效

• 申請?zhí)枺?/td>: 202110337947.1
• 申請日: 2021-03-30
• 公開（公告）號: CN113223065B
• 公開（公告）日: 2023-02-03
• 發(fā)明（設計）人: 葛雨辰;熊召龍;賴作鎂
• 申請（專利權）人: 西南電子技術研究所(中國電子科技集團公司第十研究所)
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/41;G06T7/11;G06V10/44;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 劉凱

本發(fā)明公開的一種SAR衛(wèi)星圖像與光學圖像自動匹配方法，兼顧實時性與高匹配精度。本發(fā)明通過下述技術方案實現：利用先驗地理編碼對SAR衛(wèi)星圖像和光學圖像進行預配準，然后采用滑窗的手段分別對SAR衛(wèi)星圖像與光學圖像進行等間隔采樣，收集待提取特征塊對；在圖像塊候選序列中進行篩除，利用紋理顯著性篩除算法僅保留同時在SAR源與光學源圖像塊中具有顯著紋理的圖像塊對，輸入預訓練的偽孿生深度神經粗匹配網絡A，提取特征并獲取兩幅圖像符合相關性門限的粗匹配結果，并進行統(tǒng)計，排除異常匹配結果，重剪裁SAR衛(wèi)星圖像塊；將剪裁后的SAR衛(wèi)星圖像與光學的圖像塊對輸入孿生深度神經精匹配網絡B進行精準匹配，獲取SAR衛(wèi)星圖像與光學圖像精匹配結果；最后利用隨機抽樣一致性算法隨機抽樣一致性處理所有特征塊對，獲取全圖最終的匹配結果。

技術領域

本發(fā)明涉及圖像處理技術領域，光學圖像匹配合成孔徑雷達SAR(syntheticaperture radar)衛(wèi)星圖像的方法。

背景技術

光學圖像和SAR衛(wèi)星圖像的配準是實現多源圖像融合和復合分析的基礎。光學圖像和SAR衛(wèi)星圖像的成像機理存在著差異性，實現光學和SAR衛(wèi)星圖像的精配準，已經成為光學圖像SAR衛(wèi)星圖像配準的難點和關鍵問題。在多源圖像數據中，以SAR和光學圖像最為典型：光學圖像符合人眼的視覺特征，容易辨識，而SAR衛(wèi)星圖像具有全天時、全天候、高分辨率的特點，因此將SAR與光學圖像對于同一地物的互補信息有效的融合起來有助于更全面、更客觀地探測目標特性。由于光學圖像往往包含顯著的地理位置誤差，因此不能直接依賴地理編碼來提供與SAR衛(wèi)星圖像的準確匹配，需要依賴異源圖像匹配技術進行修訂。異源圖像配準是多源圖像處理的關鍵技術之一，將直接影響到圖像融合、變化檢測以及目標識別等技術的精確度和有效性。在光學圖像的成像過程中，受云層、光線的影響易產生模糊的圖像噪聲，而SAR衛(wèi)星圖像屬于斜距投影的相干成像，不可避免的存在相干斑噪聲，以及停留、透視和雷達陰影等造成的幾何畸變，因此，在光學與SAR衛(wèi)星圖像的異源匹配過程中，面臨著如何處理兩種數據源顯著的幾何與輻射差異的問題。此外，在海面、湖波等區(qū)域由于圖像紋理稀少，即使排除SAR與光學圖像成像噪聲的干擾，此區(qū)域的圖像也不具備顯著紋理特征。因此直接應用傳統(tǒng)的在單源圖像上發(fā)展起來的匹配方法不能取得滿意的結果。

目前，異源SAR-光學圖像自動匹配有兩類主流方法。一類是基于圖像的灰度值，主要是根據圖像間的灰度值關系的假設，如統(tǒng)計關系，函數關系等，對圖像間相似性進行有效度量來匹配圖像。主要依據圖像的灰度值分布、灰度值、熵等信息，方法包括歸一化互相關(normalized cross-correlation，簡寫為NCC)、互信息(mutual information，簡寫為MI)等。其中歸一化互相關法在圖像間灰度值成線性關系時效果較好；互信息在醫(yī)學多模圖像上應用成熟，但是這類方法多沒有考慮圖像中的結構信息，不具備應對兩種數據源存在顯著的幾何與輻射差異的場景。另一類方法主要是利用圖像間的共同特征，包括點特征、線特征、邊緣特征以及區(qū)域特征。提取共同的特征信息用以匹配，較之前種方法對于某些明顯的視覺特征更穩(wěn)定更快速。但是在異源圖像匹配問題上，不僅僅是圖像間可能由于傳感器成像差異而沒有相對應的地物信息，還可能存在特征不明顯、不封閉、不足以提取的現象。

隨著深度學習技術在圖像處理領域的成功，神經網絡卷積算子已能獲取到比人工算子更復雜且魯棒的特征，具備在SAR與光學圖像強光照變化與強輻射差異場景提取共有特征的潛力?，F有技術提出了一種基于神經網絡雙分支特征向量結構的圖像塊特征提取和匹配的方法。該方法利用卷積網絡分別提取待配準圖像塊的特征向量，將二者連接后輸入到匹配網絡中進行匹配檢測。該方法存在的不足之處是，特征提取網絡得到的是僅僅是圖像塊的特征向量，而丟失了圖像塊的空間統(tǒng)計信息。同時當某一通道的待匹配圖像特征與另一通道的待匹配圖像特征存在重復或相似的場景時，匹配網絡易出現誤匹配的現象。

發(fā)明內容

本發(fā)明針對SAR衛(wèi)星圖像和光學圖像的異源圖像匹配的問題，提出一種兼顧實時性與高匹配精度，基于偽孿生神經網絡的異源圖像自動匹配方法，以解決現有技術中的方法存在光學圖像與SAR衛(wèi)星圖像的在強光照變化與強輻射差異場景匹配效果不佳的技術問題。