[發(fā)明專利]一種跨域遙感圖像的無(wú)監(jiān)督語(yǔ)義分割方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110268435.4
• 申請(qǐng)日: 2021-03-12
• 公開（公告）號(hào): CN112991353B
• 公開（公告）日: 2022-10-18
• 發(fā)明（設(shè)計(jì)）人: 趙丹培;苑博;史振威;姜志國(guó);張浩鵬
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06T7/10
• 分類號(hào): G06T7/10;G06V10/26;G06V10/778
• 代理公司: 北京慕達(dá)星云知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11465
• 代理人: 符繼超

本發(fā)明公開了一種跨域遙感圖像的無(wú)監(jiān)督語(yǔ)義分割方法，該方法包括：獲取待分割的無(wú)標(biāo)注目標(biāo)域遙感圖像；將所述待分割的無(wú)標(biāo)注目標(biāo)域遙感圖像輸入提前訓(xùn)練好的無(wú)監(jiān)督語(yǔ)義分割模型；所述無(wú)監(jiān)督語(yǔ)義分割模型包括幾何一致性約束模塊、域適應(yīng)網(wǎng)絡(luò)模塊和語(yǔ)義分割網(wǎng)絡(luò)模塊；輸出與所述待分割的無(wú)標(biāo)注目標(biāo)域遙感圖像尺寸一致的分割結(jié)果圖。該方法可以提升在有標(biāo)注源域數(shù)據(jù)上訓(xùn)練的分割模型在目標(biāo)域上的分割性能，從而減少語(yǔ)義分割任務(wù)對(duì)于大規(guī)模標(biāo)注數(shù)據(jù)的依賴，同時(shí)提升語(yǔ)義分割模型在不同圖像域上的泛化性能，可實(shí)現(xiàn)對(duì)待分割的無(wú)標(biāo)注目標(biāo)域遙感圖像的準(zhǔn)確分割，且分割精度較高。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)字圖像處理領(lǐng)域，涉及遙感圖像解譯技術(shù)，特別涉及一種跨域遙感圖像的無(wú)監(jiān)督語(yǔ)義分割方法。

背景技術(shù)

語(yǔ)義分割任務(wù)是對(duì)圖像中的每一個(gè)像素賦予一個(gè)標(biāo)簽，以實(shí)現(xiàn)對(duì)圖像內(nèi)容像素級(jí)的分類。然而，收集專家標(biāo)記的數(shù)據(jù)集尤其是像素級(jí)注釋是一個(gè)需要耗費(fèi)極大人力物力的過程。目前學(xué)術(shù)界常見的解決思路是對(duì)源域和目標(biāo)域進(jìn)行域適應(yīng)，使得在帶標(biāo)注源域上訓(xùn)練的模型能夠遷移到無(wú)標(biāo)注的目標(biāo)域上并取得可接受的分割性能。

現(xiàn)有技術(shù)中，域適應(yīng)方法通常針對(duì)通用數(shù)據(jù)集構(gòu)建，如將自動(dòng)駕駛真實(shí)街景數(shù)據(jù)集Cityscapes作為目標(biāo)域，將虛擬游戲合成的街景數(shù)據(jù)作為源域。然而，簡(jiǎn)單地應(yīng)用在合成圖像上學(xué)習(xí)的模型可能由于域偏移的問題(域偏移：合成圖像和真實(shí)圖像的數(shù)據(jù)分布存在巨大的偏差)而導(dǎo)致真實(shí)圖像上的高泛化誤差。有研究者提出從外觀層面(appearance-level)和特征表示層面(representation-level)進(jìn)行域適應(yīng)。前者使源域圖像看起來(lái)具有目標(biāo)域的“風(fēng)格”，而后者則試圖學(xué)習(xí)域不變表示特征。

然而在遙感圖像解譯領(lǐng)域，上述方法無(wú)法針對(duì)遙感目標(biāo)特性取得有效的域適應(yīng)效果，其模型在遙感數(shù)據(jù)上直接訓(xùn)練和測(cè)試的效果較差，即在源域上訓(xùn)練的模型在目標(biāo)域上的分割精度較低。原因在于遙感目標(biāo)特性與自然場(chǎng)景有較大的分布差異，包括目標(biāo)種類、目標(biāo)尺度、圖像分辨率和圖像成像機(jī)制等。且現(xiàn)有方法大多關(guān)注于像素級(jí)與特征表示級(jí)的域適應(yīng)方法，對(duì)于圖像級(jí)域適應(yīng)缺乏關(guān)注。

發(fā)明內(nèi)容

鑒于上述情況，在遙感圖像中，一種常見的特性是遙感目標(biāo)具有明顯的幾何特征，且常規(guī)的幾何變換不改變圖像的語(yǔ)義結(jié)構(gòu)。基于此種性質(zhì)，本發(fā)明設(shè)計(jì)了一種幾何一致性約束來(lái)提升遙感圖像中的語(yǔ)義分割模型從源域到目標(biāo)域的適應(yīng)效果，提出了一種跨域遙感圖像的無(wú)監(jiān)督語(yǔ)義分割方法，可解決傳統(tǒng)在源域上訓(xùn)練的模型在目標(biāo)域上的分割精度較低的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案為：

本發(fā)明實(shí)施例提供一種跨域遙感圖像的無(wú)監(jiān)督語(yǔ)義分割方法，包括以下步驟：

S1、獲取待分割的無(wú)標(biāo)注目標(biāo)域遙感圖像；

S2、將所述待分割的無(wú)標(biāo)注目標(biāo)域遙感圖像輸入提前訓(xùn)練后的無(wú)監(jiān)督語(yǔ)義分割模型；所述無(wú)監(jiān)督語(yǔ)義分割模型包括幾何一致性約束模塊、域適應(yīng)網(wǎng)絡(luò)模塊和語(yǔ)義分割網(wǎng)絡(luò)模塊；

S3、輸出與所述待分割的無(wú)標(biāo)注目標(biāo)域遙感圖像尺寸一致的分割結(jié)果圖。

進(jìn)一步地，所述無(wú)監(jiān)督語(yǔ)義分割模型的構(gòu)建步驟包括：

S21、給定源域遙感圖像集與目標(biāo)域遙感圖像集；所述源域遙感圖像集的圖像帶有標(biāo)注，且所述源域遙感圖像集與目標(biāo)域遙感圖像集包含相同的目標(biāo)類別；

S22、將所述源域遙感圖像集與目標(biāo)域遙感圖像集送入域適應(yīng)網(wǎng)絡(luò)模塊，利用對(duì)抗學(xué)習(xí)策略，使用循環(huán)一致性約束和所述幾何一致性約束模塊的預(yù)定義映射規(guī)則，監(jiān)督域適應(yīng)網(wǎng)絡(luò)模塊的訓(xùn)練；

S23、將經(jīng)所述適應(yīng)網(wǎng)絡(luò)模塊輸出的源域遙感圖像集與標(biāo)注送入語(yǔ)義分割網(wǎng)絡(luò)模塊，利用所述預(yù)定義映射規(guī)則與交叉熵?fù)p失監(jiān)督訓(xùn)練，獲得訓(xùn)練好的無(wú)監(jiān)督語(yǔ)義分割模型。

進(jìn)一步地，所述幾何一致性約束模塊的預(yù)定義映射規(guī)則，包括：順時(shí)針旋轉(zhuǎn)90°和垂直翻轉(zhuǎn)；