[發明專利]一種基于神經網絡的多模態遙感影像特征提取方法

在審

• 申請號: 202110567086.6
• 申請日: 2021-05-24
• 公開（公告）號: CN113313002A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 李澤一;張海濤;呂守業;鄭美;吳正升
• 申請（專利權）人: 清華大學;北京市遙感信息研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 符繼超

本發明公開了一種基于神經網絡的多模態遙感影像特征提取方法，包括：基于Harris角點檢測算法提取主影像中的特征點：將主影像中的特征點的像素坐標映射至待配準影像中作為待配準影像特征點；取待配準影像特征點附近領域δ范圍作為待配準區域；利用卷積神經網絡分別構建主影像的特征點描述符和待配準區域的特征點描述符；計算主影像的特征點描述符和待配準區域的特征點描述符之間的歐氏距離；在待配準區域中找到和主影像特征點距離最近點為最終配準點。本發明解決了現有技術中特征提取算子不穩定導致特征匹配效率低以及單一描述符無法描述多模態遙感影像的技術問題。

技術領域

本發明涉及遙感圖像處理技術領域，更具體的說是涉及多模態影像聯合特征提取中的一種基于關鍵點選擇和卷積神經網絡的圖像特征提取方法。經本發明提取的多模態遙感影像特征可用于遙感影像的異源配準、多源定位等領域。

背景技術

目前，多模態遙感影像特征提取已經成為遙感圖像處理領域的一個很重要的基礎研究。多模態遙感影像特征提取有很廣泛的應用，如全球遙感全天候監測，多源信息聯合定位，確定自然災害發生面積等領域。但是由于多模態遙感影像具有多分辨率，多光譜，多時相等問題內容復雜，導致每個圖像的特征描述不同，提取共同特征就變得很有挑戰性。

多模態遙感影像特征提取方法中應用比較廣泛的是基于互信息的遙感影像匹配方法和基于SIFT的模板特征提取方法。二者在特定的任務中具有很好的表現，但是不具有普適性無法應對較高的非線性畸變和噪聲。

葉沅鑫，慎利等人在論文《局部相位特征描述的多源遙感影像自動匹配》(武漢大學學報(信息科學版),2017,42(09),1278-1284)中公開了一種基于局部相位一致性直方圖的多模態遙感影像特征提取方法。該方法引入具有光照和對比度不變性的相位一致性模型,并對其進行擴展，構建相位一致性的特征方向信息，然后借助于梯度方向直方圖的模板結構，利用其特征值和特征方向建立一種局部特征描述符——局部相位一致性方向直方圖(local histogram oforientatedphase congruency,LHOPC)，最后利用歐氏距離作為匹配測度進行同點名識別。其具體做法是：第一步，建立影像的高斯差分(difference-of-Gaussian,DOG)尺度空間，并在DOG尺度空間進行極值檢測，提取出具有尺度不變性的特征點。第二步，對相位一致性模型進行拓展，構建相位一致性特征方向，然后利用尺度空間中的影像的相位一致性特征值和特征方向建立LHOPC特征向量，對上述特征點進行描述。第三步采用歐式距離作為匹配測度，通過LHOPC描述符之間的最近鄰和次近鄰距離之比進行同名點識別，最終得到穩定的多模態描述符。雖然該方法有效利用了相位響應一致性原理可以在一定程度上對抗多模態遙感影像產生的非線性形變，但是方法還存在局限性。該方法僅僅在遙感影像經過嚴格校正僅僅存在少量位移偏差時具有較高的準確性。當遙感影像有較大的偏差計算量較大性能變差。

河海大學提出的專利申請《一種基于SIFT-LPP的高光譜遙感影像特征提取方法》(專利申請號201611039115.7，公開號CN106778494)公開了一種基于SIFT-LPP的高光譜遙感影像特征提取方法。該方法首先根據SIFT特征找到關鍵點，然后求解出SIFT中128維特征向量并進行歸一化處理。隨后將128維特征向量映射到PCA子空間，利用LPP算法將128維向量映射到低維空間最后通過支持向量機分類。該方法雖然是對SIFT的改進方法，通過PCA降維起到了濾波去噪的作用。在一定程度上這種做法可以克服因為圖像噪聲造成的影響，但是SIFT無法處理多模態影像產生的非線性映射問題，該方法無法用于多模態特征提取。

因此，如何提供一種具有普適性的多模態遙感影像特征提取方法是本領域技術人員亟需解決的問題。

發明內容

有鑒于此，本發明提供了一種基于神經網絡的多模態遙感影像特征提取方法，以至少解決現有技術中的多模態遙感影像無法提取魯棒性的特征信息，導致異源信息融合困難衛星無控定位精度低的問題。

為了實現上述目的，本發明采用如下技術方案：