[發(fā)明專利]融合SIFT特征和CNN特征的遙感圖像配準(zhǔn)方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201810987940.2
• 申請日: 2018-08-28
• 公開（公告）號: CN109035315A
• 公開（公告）日: 2018-12-18
• 發(fā)明（設(shè)計）人: 邵振峰;李從敏;楊珂;周維勛
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 嚴(yán)彥

本發(fā)明提供一種融合SIFT特征和CNN特征的遙感圖像配準(zhǔn)方法及系統(tǒng)，包括對輸入的參考影像和待配準(zhǔn)影像進行特征點提取，采用SIFT方式對特征點的鄰域區(qū)域進行特征表達，獲得SIFT特征；將特征點的鄰域區(qū)域作為卷積神經(jīng)網(wǎng)絡(luò)CNN的輸入端，使用預(yù)先采用遷移學(xué)習(xí)策略訓(xùn)練完成的CNN模型進行高層特征表達，獲取CNN特征；將SIFT特征和CNN特征進行融合，計算相似性，估算參考影像和待配準(zhǔn)影像之間幾何變換參數(shù)，對待配準(zhǔn)影像進行幾何變換并重采樣，獲得配準(zhǔn)影像。本發(fā)明結(jié)合傳統(tǒng)特征提取的底層特征和基于卷積神經(jīng)網(wǎng)絡(luò)提取的高級特征，聯(lián)合特征能更準(zhǔn)確地表達遙感影像內(nèi)容，極大提高了遙感影像配準(zhǔn)精度，具有較強的適應(yīng)性。

技術(shù)領(lǐng)域

本發(fā)明屬于遙感影像處理技術(shù)領(lǐng)域，涉及一種融合SIFT特征和CNN特征的遙感圖像配準(zhǔn)方法及系統(tǒng)。

背景技術(shù)

影像配準(zhǔn)是指根據(jù)帶有地理參考的影像將未配準(zhǔn)的影像進行幾何糾正的過程，這些影像內(nèi)容包含相同的區(qū)域，可能來源于不同的拍攝時間、不同的傳感器或者不同的拍攝視角。影像配準(zhǔn)是遙感圖像處理領(lǐng)域的基本問題，對后續(xù)應(yīng)用具有重大的影響，如影像融合、變化檢測等。

影像配準(zhǔn)主要分為影像匹配、幾何變換參數(shù)估計和影像變換三個步驟，影像匹配是影像配準(zhǔn)的基礎(chǔ)。因此，類似于影像匹配，影像配準(zhǔn)方法大致可以分為基于區(qū)域的匹配方法和基于特征的匹配方法。基于區(qū)域的配準(zhǔn)方法主要使用互信息(Mutual Information，MI)和歸一化互相關(guān)(Normalized Cross-Correlation，NCC)來度量影像之間的相似性，獲得匹配點對并優(yōu)化估計幾何變換參數(shù)。雖然該類方法實現(xiàn)簡單，但是對影像灰度、幾何畸變以及噪聲等比較敏感。基于特征的匹配方法使用點、線、面等特征來建立影像間點對的對應(yīng)關(guān)系，能很好地克服基于區(qū)域配準(zhǔn)方法的不足。在基于特征的配準(zhǔn)方法中，最具有代表性的方法為SIFT(Scale-Invariant Feature Transform，尺度不變特征變換)，對于一般圖像來說，SIFT描述子具有良好的尺度、旋轉(zhuǎn)不變性，而且對于影像視角變化、明暗變化等也具有一定的不變性，能夠很好地提取圖像特征，但是SIFT描述子最初是為自然圖像設(shè)計的，而遙感影像可能是從不同角度、不同傳感器、不同時間獲取的，在面對復(fù)雜的遙感影像時，SIFT描述子不能很好地表達影像內(nèi)容。除此之外，在面對復(fù)雜多樣的遙感影像時，需要根據(jù)影像特性人工設(shè)計相應(yīng)配準(zhǔn)方法，且配準(zhǔn)方法的適應(yīng)性差。

近年來，基于深度學(xué)習(xí)的特征提取方法得到了快速發(fā)展，這是一種數(shù)據(jù)驅(qū)動的方法，能夠從影像中自動學(xué)習(xí)影像特征。但是，基于深度學(xué)習(xí)的特征提取方法對樣本的依賴大，目前已經(jīng)有許多針對自然圖像的樣本庫，而遙感影像樣本庫幾乎沒有，利用人工進行遙感影像標(biāo)注代價大。并且，目前，基于深度學(xué)習(xí)的特征提取方法在遙感影像檢索、分類和目標(biāo)識別等領(lǐng)域得到了應(yīng)用，但是這些方法都不是為遙感影像配準(zhǔn)專門設(shè)計的，缺乏相應(yīng)啟發(fā)。因此，如何利用深度學(xué)習(xí)技術(shù)來解決遙感影像配準(zhǔn)中的難點問題是一件很有意義的事情。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于多特征融合的遙感圖像配準(zhǔn)方法及系統(tǒng)，有效地克服SIFT特征提取算子無法準(zhǔn)確表達復(fù)雜的遙感影像內(nèi)容，提高了遙感影像配準(zhǔn)的精度，并為復(fù)雜多樣的遙感影像提供了一種新的配準(zhǔn)方法，具有較強的適應(yīng)性。

為實現(xiàn)上述目的，本發(fā)明的技術(shù)方案提供一種融合SIFT特征和CNN特征的遙感圖像配準(zhǔn)方法，包括以下步驟：

步驟a，分別對輸入的參考影像和待配準(zhǔn)影像進行特征點提取；

步驟b，采用SIFT方式對特征點的鄰域區(qū)域進行特征表達，獲得SIFT特征；

步驟c，將特征點的鄰域區(qū)域作為卷積神經(jīng)網(wǎng)絡(luò)CNN的輸入端，使用預(yù)先訓(xùn)練完成的CNN模型對輸入的特征點的鄰域區(qū)域進行高層特征表達，獲取CNN特征；

其中，預(yù)先訓(xùn)練CNN模型時，采用遷移學(xué)習(xí)的策略對CNN模型參數(shù)進行優(yōu)化；