[發(fā)明專利]一種融合多尺度多層級(jí)特征的衛(wèi)星影像密集匹配方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011094084.1
• 申請(qǐng)日: 2020-10-14
• 公開（公告）號(hào): CN112288690B
• 公開（公告）日: 2023-08-18
• 發(fā)明（設(shè)計(jì)）人: 張永軍;鄭志;萬(wàn)一;鄢小虎;劉欣怡
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06V20/13
• 分類號(hào): G06V20/13;G06V10/75;G06V10/766;G06V10/80;G06V10/82;G06T7/593;G06T5/00
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

本發(fā)明公開了一種融合多尺度多層級(jí)特征的衛(wèi)星影像密集匹配方法，該方法劃分為四個(gè)組成部分，分別為特征提取、代價(jià)體構(gòu)建、代價(jià)聚合和視差回歸。網(wǎng)絡(luò)的特征提取部分利用殘差模塊構(gòu)建了多尺度特征提取模塊和多層級(jí)特征融合模塊，前者用于多尺度影像信息挖掘，后者用于融合多層次特征。利用多尺度特征提取模塊和多層級(jí)特征融合模塊，網(wǎng)絡(luò)將實(shí)現(xiàn)對(duì)影像信息的有效提取。在給定視差范圍的條件下，代價(jià)體構(gòu)建部分將提取的左、右影像特征構(gòu)造成一個(gè)四維的代價(jià)聚合體。代價(jià)聚合部分利用本發(fā)明提出的代價(jià)聚合模塊對(duì)代價(jià)聚合體進(jìn)行三維卷積變換，以實(shí)現(xiàn)匹配代價(jià)聚合。視差回歸部分對(duì)聚合后的匹配代價(jià)依次進(jìn)行維度變換、上采樣和回歸分析，獲取最終視差圖。

技術(shù)領(lǐng)域

本發(fā)明屬于遙感影像處理方法，具體涉及一種融合多尺度多層級(jí)特征的衛(wèi)星影像密集匹配網(wǎng)絡(luò)。

技術(shù)背景

利用衛(wèi)星影像生成數(shù)字表面模型的核心過(guò)程為衛(wèi)星影像密集匹配。傳統(tǒng)處理流程中，該過(guò)程一般被分為四個(gè)步驟：代價(jià)計(jì)算，代價(jià)積聚，視差優(yōu)化以及視差精化。這種分步驟處理的方式會(huì)造成處理誤差的逐步積累，盡管處理中會(huì)對(duì)得到的視差圖進(jìn)行精化處理，但最終生成的視差圖的精度仍舊較低。此外，傳統(tǒng)方法高度依賴于人為設(shè)計(jì)的特征提取器，這種特征提取器在弱紋理、重復(fù)紋理等地物特征不夠明顯區(qū)域極易產(chǎn)生誤匹配。上述兩個(gè)因素是導(dǎo)致傳統(tǒng)衛(wèi)星影像密集匹配精度較低、特殊區(qū)域誤匹配嚴(yán)重的主要原因。近年來(lái)，深度學(xué)習(xí)技術(shù)的快速發(fā)展，很大程度上解決了傳統(tǒng)方法的弊端、推動(dòng)了影像密集匹配精度的提升。首先，基于卷積神經(jīng)網(wǎng)絡(luò)的影像密集匹配技術(shù)采取端到端的處理方式，將特征提取、代價(jià)體構(gòu)建、代價(jià)聚合和視差回歸等流程納入到統(tǒng)一的網(wǎng)絡(luò)中進(jìn)行處理，避免了處理過(guò)程中的誤差積累；此外，這類方法無(wú)需設(shè)計(jì)復(fù)雜的人工特征，而是通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式學(xué)習(xí)樣本中的特征范式，因而對(duì)弱紋理、重復(fù)紋理等區(qū)域有更強(qiáng)的抵抗性，可以顯著降低匹配困難區(qū)域的誤匹配率。然而，由于當(dāng)前基于深度學(xué)習(xí)的密集匹配方法在進(jìn)行特征提取時(shí)僅使用了多尺度特征或多層級(jí)特征，對(duì)特征信息的挖掘程度不夠，匹配精度仍有待提升。在該背景下，本發(fā)明提出一種融合多尺度多層級(jí)特征的衛(wèi)星影像密集匹配方法，旨在通過(guò)融合影像間的多尺度及多層級(jí)特征，實(shí)現(xiàn)更高精度的衛(wèi)星影像密集匹配。

發(fā)明內(nèi)容

本發(fā)明提出一種融合多尺度多層級(jí)特征的衛(wèi)星影像密集匹配方法，用以提高衛(wèi)星影像密集匹配的精度、降低誤匹配率。

本發(fā)明所使用的技術(shù)方案是：一種融合多尺度多層級(jí)特征的衛(wèi)星影像密集匹配方法，其特征在于，包括以下步驟：

步驟1：將能夠構(gòu)成立體像對(duì)的兩景衛(wèi)星影像通過(guò)幾何精校正和核線糾正得到處理后的左、右衛(wèi)星影像；利用同一地理范圍、相近時(shí)間獲得的激光雷達(dá)點(diǎn)云(LiDAR)或其他輔助高程數(shù)據(jù)生成數(shù)字表面模型(DSM)、并轉(zhuǎn)化為以左衛(wèi)星影像為基準(zhǔn)的視差圖；通過(guò)左、右衛(wèi)星影像，視差圖構(gòu)建訓(xùn)練集。其中，左、右衛(wèi)星影像用于預(yù)測(cè)匹配視差圖，訓(xùn)練集給定的視差圖將作為真值數(shù)據(jù)，用于算法精度驗(yàn)證。

步驟2：定義多尺度特征提取模塊、多層級(jí)特征融合模塊和代價(jià)聚合模塊。多尺度特征提取模塊、多層級(jí)特征融合模塊和代價(jià)聚合模塊均具有雙分支。其中，多尺度特征提取模塊用以提取不同尺度的影像特征；多層級(jí)特征融合模塊用于進(jìn)行不同層級(jí)影像特征的融合；代價(jià)聚合模塊以不同步距的三維卷積進(jìn)行不同尺度的代價(jià)計(jì)算、并通過(guò)反卷積及代價(jià)級(jí)聯(lián)方式實(shí)現(xiàn)多尺度代價(jià)聚合。

步驟3：利用多尺度特征提取模塊、多層級(jí)特征融合模塊和代價(jià)聚合模塊構(gòu)建密集匹配網(wǎng)絡(luò)；所述密集匹配網(wǎng)絡(luò)主要分為四個(gè)部分，分別是：特征提取部分、匹配代價(jià)體部分、代價(jià)聚合部分及視差回歸部分，具體描述如下：

特征提取部分；首先通過(guò)二維卷積將影像轉(zhuǎn)換到特征空間；而后通過(guò)多尺度特征提取模塊提取兩個(gè)尺度的影像特征，該模塊的分支一將作為后續(xù)多尺度特征提取模塊的輸入，分支二將與下一多尺度特征提取模塊的分支一特征一起實(shí)現(xiàn)多層級(jí)特征融合。交替使用多個(gè)多尺度特征提取模塊及多層級(jí)特征融合模塊，即可在特征提取過(guò)程實(shí)現(xiàn)影像多尺度與多層級(jí)特征的初步融合。最后，對(duì)獲取的多層級(jí)特征進(jìn)行尺度和維度變換實(shí)現(xiàn)進(jìn)一步的特征融合，以此提取融合多尺度和多層級(jí)信息的影像特征。左、右影像通過(guò)權(quán)重共享的方式提取影像特征。