[發(fā)明專(zhuān)利]一種多尺度生成對(duì)抗網(wǎng)絡(luò)的異源遙感圖像配準(zhǔn)方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910279035.6
• 申請(qǐng)日: 2019-04-09
• 公開(kāi)（公告）號(hào): CN109978897B
• 公開(kāi)（公告）日: 2020-05-08
• 發(fā)明（設(shè)計(jì)）人: 杜文亮;周勇;趙佳琦
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)礦業(yè)大學(xué)
• 主分類(lèi)號(hào): G06T7/11
• 分類(lèi)號(hào): G06T7/11;G06T7/33;G06T7/40;G06K9/62;G06K9/46
• 代理公司: 南京瑞弘專(zhuān)利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 梁天彥

本發(fā)明公開(kāi)了一種基于圖像分割的多尺度生成對(duì)抗網(wǎng)絡(luò)的異源遙感圖像配準(zhǔn)方法及裝置，根據(jù)兩組異源遙感圖像數(shù)據(jù)，獲取訓(xùn)練樣本；對(duì)輸入圖像進(jìn)行圖像分割，獲得分割圖像；構(gòu)建基于圖像分割的多尺度生成對(duì)抗網(wǎng)絡(luò)；構(gòu)建圖像塊的生成對(duì)抗網(wǎng)絡(luò)；訓(xùn)練兩個(gè)生成對(duì)抗網(wǎng)絡(luò)；將生成圖像與待配準(zhǔn)圖像進(jìn)行同源圖像配準(zhǔn)。本發(fā)明能夠約束生成對(duì)抗網(wǎng)絡(luò)生成圖像的空間信息一致性，并提供全尺寸、高分辨率、空間信息一致的圖像轉(zhuǎn)換解決方案，將異源圖像配準(zhǔn)問(wèn)題化簡(jiǎn)為同源圖像配準(zhǔn)問(wèn)題，構(gòu)建統(tǒng)一的異源遙感圖像配準(zhǔn)框架。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于圖像分割的多尺度生成對(duì)抗網(wǎng)絡(luò)的異源遙感圖像配準(zhǔn)方法及裝置。

背景技術(shù)

異源遙感圖像配準(zhǔn)是一種將同一區(qū)域不同傳感器獲取數(shù)據(jù)的幾何信息進(jìn)行配準(zhǔn)的技術(shù)，是海量遙感數(shù)據(jù)自動(dòng)化處理的關(guān)鍵技術(shù)，其運(yùn)算精度將直接影響到異源遙感圖像融合、鑲嵌等后續(xù)應(yīng)用的運(yùn)算精度。然而不同性質(zhì)的傳感器，由于成像機(jī)理、拍攝時(shí)間、衛(wèi)星姿態(tài)以及傳感器參數(shù)不同等原因，其獲取的數(shù)據(jù)之間往往會(huì)存在較大的尺寸、旋轉(zhuǎn)、平移差異。同時(shí)，異源遙感圖像的灰度值和特征信息之間也往往會(huì)存在非線性的差異。因此，快速、有效、高精度的異源遙感圖像自動(dòng)配準(zhǔn)是一個(gè)極富挑戰(zhàn)性的研究課題，也是當(dāng)前國(guó)內(nèi)外的研究熱點(diǎn)。

目前，異源遙感圖像配準(zhǔn)方法大致可以分為三類(lèi)：基于區(qū)域的方法、基于特征的方法以及基于機(jī)器學(xué)習(xí)的方法。基于區(qū)域的配準(zhǔn)方法可以被看作是一種模板匹配的配準(zhǔn)方法，是異源圖像配準(zhǔn)中最經(jīng)典的配準(zhǔn)方法。其中，由于互信息能夠比較有效地克服異源遙感圖像間灰度值非線性映射的問(wèn)題，其被廣泛地應(yīng)用于異源遙感圖像的配準(zhǔn)中。然而，由于基于區(qū)域的配準(zhǔn)方法計(jì)算量太大，難以滿足遙感圖像配準(zhǔn)的實(shí)時(shí)性需求，也難以滿足海量遙感圖像的自動(dòng)配準(zhǔn)需求。并且，當(dāng)圖像重疊區(qū)域較小、圖像存在非線性形變或圖像存在較大尺度變化時(shí)，基于區(qū)域的配準(zhǔn)方法難以獲得理想的配準(zhǔn)結(jié)果。

基于特征的配準(zhǔn)方法是同源遙感圖像配準(zhǔn)中最常用的配準(zhǔn)方法，該方法將圖像的灰度信息抽象為點(diǎn)、線、面等特征信息，利用特征信息良好的光照、尺度、旋轉(zhuǎn)不變性，實(shí)現(xiàn)準(zhǔn)確、快速、自動(dòng)的同源遙感圖像配準(zhǔn)。但是由于不同源遙感圖像之間存在非線性的灰度(輻射)差異，將SIFT等基于同源圖像研發(fā)的特征提取方法應(yīng)用于異源遙感圖像時(shí)，其獲取特征信息的重復(fù)率較低，導(dǎo)致其應(yīng)用于異源遙感圖像配準(zhǔn)時(shí)，配準(zhǔn)的結(jié)果不穩(wěn)定且甚至?xí)?dǎo)致配準(zhǔn)失敗。

研發(fā)基于機(jī)器學(xué)習(xí)的方法，實(shí)現(xiàn)對(duì)不同遙感圖像的自動(dòng)適配，是異源遙感圖像配準(zhǔn)的重要發(fā)展方向。然而，目前基于機(jī)器學(xué)習(xí)的圖像轉(zhuǎn)換方法難以對(duì)高分辨率的遙感數(shù)據(jù)實(shí)現(xiàn)高質(zhì)量的圖像生成，使得基于機(jī)器學(xué)習(xí)的異源遙感圖像配準(zhǔn)方法難以應(yīng)用到高分辨率的異源遙感數(shù)據(jù)上。

發(fā)明內(nèi)容

發(fā)明目的：為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種基于圖像分割的多尺度生成對(duì)抗網(wǎng)絡(luò)的異源遙感圖像配準(zhǔn)方法及裝置，針對(duì)高分辨率的異源遙感數(shù)據(jù)，本發(fā)明能夠有效約束基于生成對(duì)抗網(wǎng)絡(luò)圖像轉(zhuǎn)換的空間信息一致性，并提供全尺寸、高分辨率、空間信息一致的圖像轉(zhuǎn)換解決方案，將異源遙感圖像配準(zhǔn)問(wèn)題化簡(jiǎn)為同源遙感圖像配準(zhǔn)問(wèn)題，構(gòu)建統(tǒng)一的異源遙感圖像配準(zhǔn)框架。

技術(shù)方案：為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為：

一種基于圖像分割的多尺度生成對(duì)抗網(wǎng)絡(luò)的異源遙感圖像配準(zhǔn)方法，包括如下步驟：

(1)從兩組高分辨率異源遙感圖像數(shù)據(jù)中獲取成對(duì)的訓(xùn)練樣本，兩組高分辨率異源遙感圖像數(shù)據(jù)中的數(shù)據(jù)互為一一匹配，成對(duì)的訓(xùn)練樣本中的兩張圖像分別為兩組高分辨率異源遙感圖像數(shù)據(jù)中一一匹配的數(shù)據(jù)，將成對(duì)的訓(xùn)練樣本中的兩張圖像分別稱(chēng)為輸入圖像和目標(biāo)圖像；

(2)采用分割方法對(duì)圖像進(jìn)行圖像分割，獲得多尺度分割圖像；

(3)構(gòu)建基于圖像分割的多尺度生成對(duì)抗網(wǎng)絡(luò)Ⅰ；

(4)構(gòu)建多尺度圖像塊生成對(duì)抗網(wǎng)絡(luò)Ⅱ；

(5)訓(xùn)練兩個(gè)生成對(duì)抗網(wǎng)絡(luò)；