[發(fā)明專利]一種融合多尺度多層級特征的衛(wèi)星影像密集匹配方法

有效

• 申請?zhí)枺?/td>: 202011094084.1
• 申請日: 2020-10-14
• 公開（公告）號: CN112288690B
• 公開（公告）日: 2023-08-18
• 發(fā)明（設(shè)計）人: 張永軍;鄭志;萬一;鄢小虎;劉欣怡
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06V20/13
• 分類號: G06V20/13;G06V10/75;G06V10/766;G06V10/80;G06V10/82;G06T7/593;G06T5/00
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種融合多尺度多層級特征的衛(wèi)星影像密集匹配方法，其特征在于，包括以下步驟：

步驟1，將構(gòu)成立體像對的兩景衛(wèi)星影像通過幾何精校正和核線糾正得到處理后的左、右衛(wèi)星影像，獲取以左衛(wèi)星影像為基準(zhǔn)的視差圖，通過左、右衛(wèi)星影像，視差圖構(gòu)建訓(xùn)練集；其中，左、右衛(wèi)星影像用于預(yù)測匹配視差圖，訓(xùn)練集給定的視差圖將作為真值數(shù)據(jù)，用于精度驗證；

步驟2，定義多尺度特征提取模塊、多層級特征融合模塊和代價聚合模塊，其中，多尺度特征提取模塊用以提取不同尺度的影像特征；多層級特征融合模塊用于進行不同層級影像特征的融合；代價聚合模塊以不同步距的三維卷積進行不同尺度的代價計算、并通過反卷積及代價級聯(lián)方式實現(xiàn)多尺度代價聚合；

步驟3，利用多尺度特征提取模塊、多層級特征融合模塊和代價聚合模塊構(gòu)建密集匹配網(wǎng)絡(luò)，并利用步驟1中構(gòu)建的訓(xùn)練集訓(xùn)練密集匹配網(wǎng)絡(luò)；

所述密集匹配網(wǎng)絡(luò)包括四個部分：特征提取部分，用于利用多尺度特征提取模塊、多層級特征融合模塊提取輸入影像的特征；匹配代價體部分，用于利用提取的影像特征構(gòu)建匹配代價體；代價聚合部分，用于利用代價聚合模塊實現(xiàn)多層級匹配代價聚合；視差回歸部分，用于利用多層級匹配代價聚合獲取多層級的預(yù)測視差圖結(jié)果，而后對多層級視差圖結(jié)果進行融合，得到網(wǎng)絡(luò)的最終輸出；

步驟3中所述的密集網(wǎng)絡(luò)匹配模型為，

其中，I表示輸入的立體像對，Θ表示網(wǎng)絡(luò)參數(shù)，表示網(wǎng)絡(luò)特征提取部分輸出的特征圖；表示構(gòu)建的匹配代價體；Cost_p表示第p層級的聚合代價；D_p表示經(jīng)由第p層級聚合代價預(yù)測的視差圖；

步驟3中通過多尺度特征提取模塊、多層級特征融合模塊和代價聚合模塊構(gòu)建密集匹配網(wǎng)絡(luò)的過程具體為：

訓(xùn)練過程中，Φ經(jīng)由特征提取部分獲取左、右衛(wèi)星影像的特征圖和利用和構(gòu)建匹配代價體對進行多層級代價聚合，得到Cost_p；對Cost_p進行視差回歸，得到對應(yīng)層級的預(yù)測視差D_p；按照一定比例因子對D_p進行元素級相加，得到以左衛(wèi)星影像為基準(zhǔn)的視差圖，即視差圖D；

進一步地，利用構(gòu)造的密集匹配網(wǎng)絡(luò)模型，經(jīng)由訓(xùn)練集訓(xùn)練密集匹配網(wǎng)絡(luò)模型的過程包含以下子步驟：

步驟3.1：以訓(xùn)練集作為密集匹配網(wǎng)絡(luò)的輸入，其中，左、右衛(wèi)星影像數(shù)據(jù)I_l，i，I_r，i作為密集匹配網(wǎng)絡(luò)的輸入，用于學(xué)習(xí)預(yù)測的視差結(jié)果D′_i；視差真值用于和預(yù)測視差結(jié)果D′_i進行比對，判斷預(yù)測結(jié)果的準(zhǔn)確性并通過反向傳播機制更新網(wǎng)絡(luò)；

步驟3.2：構(gòu)建網(wǎng)絡(luò)的特征提取部分，步驟3.2中所述網(wǎng)絡(luò)特征提取部分定義為：

其中，I表示左、右衛(wèi)星影像，為網(wǎng)絡(luò)特征提取部分的輸入，Conv_a表示需要進行的二維卷積；SFE_b表示使用的多尺度特征提取模塊；CSF_c表示使用的多層級特征融合模塊；T_d表示需要進行的維度轉(zhuǎn)換或尺度變換操作，下標(biāo)a，b，c，d表示這些操作和模塊均多次使用，N^*表示正整數(shù)；分別以左、右影像I_l、I_r為輸入，經(jīng)過特征提取部分，即得到影像對應(yīng)的輸出特征圖

步驟3.3：構(gòu)建網(wǎng)絡(luò)的匹配代價體部分，步驟3.3中所述網(wǎng)絡(luò)匹配代價體部分定義為：

其中，表示左、右影像經(jīng)由網(wǎng)絡(luò)特征提取部分獲取的影像特征；d_max表示給定的左、右影像的視差值范圍；為經(jīng)由匹配代價體構(gòu)建過程得到的代價體；

當(dāng)給定視差大小為d，影像行列數(shù)為x和y時，經(jīng)過校正的左、右影像的對應(yīng)像素之間具有如下關(guān)系：

(x_l，y)＝(x_r-d，y)

即左影像的第x列像素對應(yīng)于右影像的第(x-d)列像素；

步驟3.4：構(gòu)建網(wǎng)絡(luò)的代價聚合部分，步驟3.4中所述網(wǎng)絡(luò)代價聚合部分定義為：

其中，為經(jīng)由匹配代價體構(gòu)建過程計算得到的代價體；3CBR為需要進行歸一化和非線性激活的三維卷積操作；3CB為需要進行歸一化的三維卷積操作；3DC為三維反卷積操作；CA_p為代價聚合模塊；

步驟3.5：構(gòu)建網(wǎng)絡(luò)的視差回歸部分，步驟3.5中所述網(wǎng)絡(luò)視差回歸部分定義為：

D＝∑_p∈Nλ_pD_p，p∈N^*

其中，D_p表示經(jīng)由一系列變換操作及進行視差回歸得到的各層級視差，λ_p表示D_p對應(yīng)的比例因子；D表示預(yù)測的以左影像為基準(zhǔn)的視差圖；

步驟3.6：以輸出結(jié)果D和真值D^*之間的相似程度計算損失函數(shù)，利用后向傳播更新全部網(wǎng)絡(luò)學(xué)習(xí)參數(shù)

步驟4，利用訓(xùn)練后的衛(wèi)星影像密集匹配網(wǎng)絡(luò)對經(jīng)過幾何精校正和核線糾正的左、右衛(wèi)星影像進行密集匹配，即可獲得匹配結(jié)果。