[發(fā)明專利]基于子圖像匹配的深度學(xué)習(xí)遙感圖像配準(zhǔn)方法及應(yīng)用

在審

• 申請(qǐng)?zhí)枺?/td>: 202110883234.5
• 申請(qǐng)日: 2021-08-02
• 公開（公告）號(hào): CN113610905A
• 公開（公告）日: 2021-11-05
• 發(fā)明（設(shè)計(jì)）人: 江潔;陳蕪;張廣軍
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06T7/33
• 分類號(hào): G06T7/33;G06T7/136;G06N3/04;G06N3/08;G06T5/50
• 代理公司: 北京竹辰知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11706
• 代理人: 陳龍;聶鵬

1.一種基于子圖像匹配的深度學(xué)習(xí)遙感圖像配準(zhǔn)方法，以實(shí)現(xiàn)光學(xué)遙感圖像之間的配準(zhǔn)，該方法包含由卷積神經(jīng)網(wǎng)絡(luò)完成的子圖像匹配和變換參數(shù)估計(jì)兩個(gè)階段，其特征在于：階段一：從圖像中裁剪一系列含有多個(gè)特征的子圖像，通過(guò)帶特征向量?jī)?nèi)積結(jié)構(gòu)的子圖像相似度學(xué)習(xí)網(wǎng)絡(luò)ScoreCNN提取子圖像特征，并在融合階段估計(jì)子圖像的相似度；根據(jù)相似度利用快速篩選算法尋找置信度高的匹配的子圖像；階段二：把所述匹配的子圖像對(duì)其對(duì)應(yīng)的在原圖像中的坐標(biāo)輸入到帶有權(quán)重結(jié)構(gòu)和位置編碼的變換參數(shù)估計(jì)網(wǎng)絡(luò)ETPN中，輸出待配準(zhǔn)圖像之間的變換矩陣。

2.根據(jù)權(quán)利要求1所述的一種基于子圖像匹配的深度學(xué)習(xí)遙感圖像配準(zhǔn)方法，其特征在于：所述的子圖像匹配為：從圖像中裁剪一系列中等大小的圖像塊作為子圖像，通過(guò)基于孿生卷積神經(jīng)網(wǎng)絡(luò)的帶特征向量?jī)?nèi)積結(jié)構(gòu)的子圖像相似度學(xué)習(xí)網(wǎng)絡(luò)ScoreCNN提取子圖像特征，并在融合階段估計(jì)子圖像的相似度。

3.根據(jù)權(quán)利要求2所述的一種基于子圖像匹配的深度學(xué)習(xí)遙感圖像配準(zhǔn)方法，其特征在于：所述的子圖像匹配具體步驟為：

(1)對(duì)于某個(gè)從待配準(zhǔn)圖像中裁剪的子圖像通過(guò)ScoreCNN估計(jì)與基準(zhǔn)圖像中滑動(dòng)選取的子圖像I_t的相似度，每個(gè)位置的相似度構(gòu)成相似度熱圖M_k；

(2)根據(jù)熱圖M_k尋找與匹配的子圖像，存在基準(zhǔn)子圖像與匹配的條件是：①M(fèi)_k的最大值m₁大于相似度閾值l，②第二大極值m₂滿足m₂＜m₁-t，t為相似度差的閾值，③m₂所在位置在m₁的半徑為r的鄰域之外；

(3)若滿足以上條件則認(rèn)為m₁所在的位置的基準(zhǔn)子圖像與匹配；

(4)有任意一條不滿足則認(rèn)為沒(méi)有匹配的子圖像；

(5)重復(fù)以上步驟直到遍歷所有待配準(zhǔn)圖像中的子圖像。

4.根據(jù)權(quán)利要求2所述的一種基于子圖像匹配的深度學(xué)習(xí)遙感圖像配準(zhǔn)方法，其特征在于：所述的子圖像相似度學(xué)習(xí)網(wǎng)絡(luò)ScoreCNN結(jié)構(gòu)中，在特征網(wǎng)絡(luò)提取子圖像的稠密特征后，在特征融合階段把子圖像特征圖中的各特征向量進(jìn)行內(nèi)積，隨后主要通過(guò)兩個(gè)卷積層和一個(gè)全連接層實(shí)現(xiàn)從融合特征到相似度的映射；卷積層后緊跟著ReLU激活函數(shù)和最大池化。

5.根據(jù)權(quán)利要求1所述的一種基于子圖像匹配的深度學(xué)習(xí)遙感圖像配準(zhǔn)方法，其特征在于：所述ETPN提取和融合子圖像對(duì)的特征和對(duì)應(yīng)的坐標(biāo)編碼向量；為了利用不確定數(shù)量的匹配子圖像直接估計(jì)變換矩陣和減小低質(zhì)量的輸入的影響，根據(jù)學(xué)習(xí)的權(quán)重對(duì)子圖像的特征進(jìn)行加權(quán)平均；權(quán)重結(jié)構(gòu)中通過(guò)卷積層和特征圖平均的操作進(jìn)一步提取特征，與子圖像的特征進(jìn)行相關(guān)，產(chǎn)生每對(duì)子圖像的權(quán)重。

6.根據(jù)權(quán)利要求5所述的一種基于子圖像匹配的深度學(xué)習(xí)遙感圖像配準(zhǔn)方法，其特征在于：ETPN網(wǎng)絡(luò)的參數(shù)估計(jì)過(guò)程如下：

(1)向所述ETPN的特征提取和位置編碼模塊分別輸入篩選后的所有匹配子圖像及其在原圖像中的中心坐標(biāo)，得到每個(gè)子圖像的特征集和位置編碼向量；

(2)融合對(duì)應(yīng)兩個(gè)子圖像特征得到子圖像對(duì)的特征集，連接所述的子圖像對(duì)的特征集和對(duì)應(yīng)的位置編碼向量，得到融合特征集；

(3)把所述融合特征集輸入到所述ETPN中帶權(quán)重結(jié)構(gòu)的回歸模塊中，輸出回歸的變換模型的參數(shù)預(yù)測(cè)結(jié)果；所述回歸模塊的主干由通道注意力結(jié)構(gòu)、加權(quán)平均層、卷積層和全連接層組成；所述的權(quán)重結(jié)構(gòu)為主干中的分支結(jié)構(gòu)，位于通道注意力結(jié)構(gòu)和加權(quán)平均層之間；所述融合特征集在經(jīng)過(guò)通道注意力結(jié)構(gòu)后流經(jīng)分支中的卷積層和特征圖平均層得到合并的特征圖并自相關(guān)，經(jīng)過(guò)權(quán)重生成層得到各匹配子圖像對(duì)應(yīng)的權(quán)重值。