[發(fā)明專(zhuān)利]基于子圖像匹配的深度學(xué)習(xí)遙感圖像配準(zhǔn)方法及應(yīng)用

在審

• 申請(qǐng)?zhí)枺?/td>: 202110883234.5
• 申請(qǐng)日: 2021-08-02
• 公開(kāi)（公告）號(hào): CN113610905A
• 公開(kāi)（公告）日: 2021-11-05
• 發(fā)明（設(shè)計(jì)）人: 江潔;陳蕪;張廣軍
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京航空航天大學(xué)
• 主分類(lèi)號(hào): G06T7/33
• 分類(lèi)號(hào): G06T7/33;G06T7/136;G06N3/04;G06N3/08;G06T5/50
• 代理公司: 北京竹辰知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11706
• 代理人: 陳龍;聶鵬

基于子圖像匹配的深度學(xué)習(xí)遙感圖像配準(zhǔn)方法及應(yīng)用，包含由卷積神經(jīng)網(wǎng)絡(luò)完成的子圖像匹配和變換參數(shù)估計(jì)兩個(gè)階段，1,從圖像中裁剪一系列含有多個(gè)特征的子圖像，通過(guò)帶特征向量?jī)?nèi)積結(jié)構(gòu)的子圖像相似度學(xué)習(xí)網(wǎng)絡(luò)ScoreCNN提取子圖像特征，并在融合階段估計(jì)子圖像的相似度；根據(jù)相似度利用快速篩選算法尋找置信度高的匹配的子圖像；2,把匹配的子圖像對(duì)其對(duì)應(yīng)的在原圖像中的坐標(biāo)輸入到帶有權(quán)重結(jié)構(gòu)和位置編碼的變換參數(shù)估計(jì)網(wǎng)絡(luò)ETPN中，輸出待配準(zhǔn)圖像之間的變換矩陣。本發(fā)明解決了傳統(tǒng)配準(zhǔn)框架中對(duì)于特征變化大的圖像配準(zhǔn)存在的正確匹配的特征數(shù)量不足導(dǎo)致算法失敗的問(wèn)題，同時(shí)提高了基于參數(shù)回歸的深度學(xué)習(xí)配準(zhǔn)方法的精度。

技術(shù)領(lǐng)域

本發(fā)明涉及一種圖像配準(zhǔn)方法及其應(yīng)用，尤其是涉及一種基于子圖像匹配的深度學(xué)習(xí)遙感圖像配準(zhǔn)方法及其應(yīng)用，屬于圖像處理領(lǐng)域。

背景技術(shù)

圖像配準(zhǔn)是遙感圖像處理的重要過(guò)程之一，是后續(xù)遙感信息應(yīng)用的基礎(chǔ)。近年來(lái)，遙感圖像逐漸向高空間分辨率、高光譜分辨率、高時(shí)間分辨率方向發(fā)展，高分辨率的航空和衛(wèi)星遙感圖像的應(yīng)用場(chǎng)景越來(lái)越多，如城市發(fā)展、地理變化評(píng)估、土地分析等。遙感圖像配準(zhǔn)的魯棒性和精度對(duì)變化檢測(cè)、圖像融合等后續(xù)任務(wù)有重要的影響。多時(shí)相高分辨率的光學(xué)遙感圖像通常受到復(fù)雜變化的影響，如日照、云、霧、霾等引起的遮擋和亮度、對(duì)比度等的變化，人類(lèi)活動(dòng)和自然災(zāi)害造成的土地和建筑物的外觀和邊界的變化，低空拍攝起伏的地形和高大建筑物產(chǎn)生復(fù)雜幾何形變等，這些都使遙感圖像配準(zhǔn)變得困難。

遙感圖像配準(zhǔn)是建立不同條件下拍攝的某一相同區(qū)域的遙感圖像之間的對(duì)應(yīng)關(guān)系。目前，遙感圖像配準(zhǔn)技術(shù)已取得了很多研究成果，但大部分配準(zhǔn)方法是基于傳統(tǒng)特征匹配的框架，即在圖像中利用手工設(shè)計(jì)的算子提取并描述點(diǎn)、線或面特征，然后對(duì)特征進(jìn)行匹配和異常點(diǎn)剔除，利用篩選后的匹配特征位置計(jì)算變換關(guān)系。

現(xiàn)有技術(shù)，如申請(qǐng)?zhí)枺篊N 202110166034.8，公開(kāi)號(hào)：CN112861714A公開(kāi)一種基于深度學(xué)習(xí)和多子圖匹配的遙感圖像匹配方法，然而，該現(xiàn)有技術(shù)中的子圖指遙感圖像中不同地物類(lèi)型的分布圖，大小與原圖相同。該技術(shù)是基于傳統(tǒng)特征匹配的框架的方法之一。

這類(lèi)算法在正確的匹配點(diǎn)較多時(shí)精度較高，但應(yīng)用場(chǎng)景局限大且對(duì)高分辨率、存在大幅度的幾何變形和復(fù)雜內(nèi)容改變的遙感圖像容易因?yàn)檎_匹配少而配準(zhǔn)失敗。隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域的發(fā)展，有一些研究利用神經(jīng)網(wǎng)絡(luò)提取特征實(shí)現(xiàn)遙感圖像的配準(zhǔn)，取得了一定成效，但也受限于需要足夠多的匹配的局部特征點(diǎn)的要求。為了實(shí)現(xiàn)快速配準(zhǔn)，也有研究直接向神經(jīng)網(wǎng)絡(luò)輸入整幅遙感圖像自動(dòng)回歸變換模型參數(shù)，獲得了很高的魯棒性，但大幅度的降采樣使得這種方法依賴(lài)于明顯的輪廓特征，精度也相應(yīng)較差。目前還沒(méi)有一種充分利用遙感圖像的高分辨率信息，且基于參數(shù)回歸的深度學(xué)習(xí)遙感圖像配準(zhǔn)方法。

發(fā)明內(nèi)容

為了解決對(duì)于對(duì)具有較大差異的多時(shí)相高分辨率遙感圖像，基于局部特征的方法容易失效和基于參數(shù)回歸的深度學(xué)習(xí)方法精度較低的問(wèn)題，本發(fā)明提出了一種基于子圖像匹配的深度學(xué)習(xí)遙感圖像配準(zhǔn)方法。

本發(fā)明的方法采用如下技術(shù)方案：

一種基于子圖像匹配的深度學(xué)習(xí)遙感圖像配準(zhǔn)方法，以實(shí)現(xiàn)光學(xué)遙感圖像之間的配準(zhǔn)，該方法包含由卷積神經(jīng)網(wǎng)絡(luò)完成的子圖像匹配和變換參數(shù)估計(jì)兩個(gè)階段，階段一：從圖像中裁剪一系列含有多個(gè)特征的子圖像，通過(guò)帶特征向量?jī)?nèi)積結(jié)構(gòu)的子圖像相似度學(xué)習(xí)網(wǎng)絡(luò)ScoreCNN提取子圖像特征，并在融合階段估計(jì)子圖像的相似度；根據(jù)相似度利用快速篩選算法尋找置信度高的匹配的子圖像；階段二：把所述匹配的子圖像對(duì)其對(duì)應(yīng)的在原圖像中的坐標(biāo)輸入到帶有權(quán)重結(jié)構(gòu)和位置編碼的變換參數(shù)估計(jì)網(wǎng)絡(luò)ETPN中，輸出待配準(zhǔn)圖像之間的變換矩陣。

進(jìn)一步的，所述的子圖像匹配為：從圖像中裁剪一系列中等大小的圖像塊作為子圖像，通過(guò)基于孿生卷積神經(jīng)網(wǎng)絡(luò)的帶特征向量?jī)?nèi)積結(jié)構(gòu)的子圖像相似度學(xué)習(xí)網(wǎng)絡(luò)ScoreCNN提取子圖像特征，并在融合階段估計(jì)子圖像的相似度。

進(jìn)一步的，所述的子圖像匹配具體步驟為：