[發(fā)明專利]一種結(jié)合像素語義關(guān)聯(lián)和邊界注意的高分影像弱監(jiān)督建筑物提取方法

在審

• 申請?zhí)枺?/td>: 202010909322.3
• 申請日: 2020-09-02
• 公開（公告）號: CN112052783A
• 公開（公告）日: 2020-12-08
• 發(fā)明（設(shè)計(jì)）人: 陳杰;何玢;李建輝;郭亞;孫庚;鄧敏
• 申請（專利權(quán)）人: 中南大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06N3/04;G06T3/40;G06T7/194
• 代理公司: 長沙七源專利代理事務(wù)所(普通合伙) 43214
• 代理人: 張勇;周曉艷

本發(fā)明提供了一種結(jié)合像素語義關(guān)聯(lián)和邊界注意的高分影像弱監(jiān)督建筑物提取方法，包括訓(xùn)練數(shù)據(jù)準(zhǔn)備、深層特征提取、邊界特征融合、像素語義關(guān)聯(lián)度學(xué)習(xí)、損失函數(shù)計(jì)算和生成建筑物偽標(biāo)注；通過設(shè)計(jì)邊界注意模塊，將超像素先驗(yàn)信息和網(wǎng)絡(luò)提取的邊界信息相結(jié)合，強(qiáng)化了建筑物邊界特征，且通過學(xué)習(xí)像素之間的語義關(guān)聯(lián)性，將像素間的語義信息在圖像中進(jìn)行有效傳播，生成更為完整密集，邊界更為清晰的偽標(biāo)簽。同時(shí)配合高分遙感影像采用全卷積網(wǎng)絡(luò)模型訓(xùn)練，實(shí)現(xiàn)建筑物特征自動提取。

技術(shù)領(lǐng)域

本發(fā)明涉及遙感影像領(lǐng)域，更具體地，涉及一種結(jié)合像素語義關(guān)聯(lián)和邊界注意的高分影像弱監(jiān)督建筑物提取方法。

背景技術(shù)

建筑物提取作為遙感影像語義分割的應(yīng)用之一，對城市地理數(shù)據(jù)庫的建立和更新、城市人口估算、土地覆蓋變化等諸多領(lǐng)域有著重要的實(shí)踐價(jià)值。近年來，隨著遙感成像技術(shù)的飛速發(fā)展，衛(wèi)星影像的空間分辨率及光譜分辨率得到了極大提高，使得建筑物的精確識別與定位成為可能。從遙感影像中提取建筑物的傳統(tǒng)方法有基于像元和面向?qū)ο髢煞N方式。基于像元的方法是以單個(gè)像素為基本單元，主要依據(jù)其光譜信息進(jìn)行分類提取。面向?qū)ο蟮姆椒ㄊ窍韧ㄟ^多尺度圖像分割技術(shù)得到同質(zhì)多邊形對象，再設(shè)計(jì)特征提取規(guī)則進(jìn)行對象的分類。前者難以顧及高分影像中地物的空間信息；而后者需要人工設(shè)計(jì)特征，難以應(yīng)對大范圍高分影像的建筑物提取任務(wù)。

近年來，由于深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征抽象能力和自動化的提取方式，在場景識別、目標(biāo)檢測、語義分割等任務(wù)中表現(xiàn)突出，也在建筑物提取方面取得了優(yōu)異的效果。其中，大部分利用深度卷積神經(jīng)網(wǎng)絡(luò)的建筑物提取，都為全監(jiān)督學(xué)習(xí)方法，需要像素級的標(biāo)注。像素級標(biāo)注制作起來既耗時(shí)又耗力，成為了基于深度神經(jīng)網(wǎng)絡(luò)語義分割任務(wù)的最大挑戰(zhàn)之一，這個(gè)挑戰(zhàn)將許多遙感應(yīng)用置于“小數(shù)據(jù)”的模式中，極大地限制了其發(fā)展；為此，學(xué)者們相繼提出弱監(jiān)督語義分割方法以減少像素級標(biāo)注的成本。它不再使用像素級的標(biāo)注，而是使用更弱的標(biāo)注，如邊框、涂鴉和圖像級標(biāo)簽。其中，圖像級標(biāo)簽由于獲取成本最低，受到了廣泛的關(guān)注。

圖像級弱監(jiān)督模型的訓(xùn)練，主要挑戰(zhàn)是基于不完全監(jiān)督信息生成像素級標(biāo)簽映射。該任務(wù)最常用的方法，是借助CAM(class activation map)方法生成與目標(biāo)語義相關(guān)的局部圖像區(qū)域。CAM方法生成的分割區(qū)域(稱為分割種子)，往往是物體最具鑒別力的區(qū)域，對粗略確定物體的位置是有用的。然而，對于語義分割這一任務(wù)來說，這些分割種子是稀疏且不完整的。因此，如何有效擴(kuò)張分割種子的范圍，完整準(zhǔn)確的挖掘圖像中目標(biāo)全部區(qū)域，生成連續(xù)密集的偽像素級標(biāo)簽，一直是圖像級弱監(jiān)督語義分割研究重點(diǎn)關(guān)注的問題；值得注意的是，弱監(jiān)督建筑物提取任務(wù)除了標(biāo)注問題，還面臨著生成的偽標(biāo)簽邊界刻畫能力不強(qiáng)的問題。目前在弱監(jiān)督語義分割的研究中，研究者們通常采用全連接條件隨機(jī)場等方法對生成的偽標(biāo)注添加邊界約束。在缺乏像素級標(biāo)注的情況下，這些方法僅利用圖像中固有的信息增強(qiáng)邊界特征，但邊界刻畫效果不甚理想。有些研究是利用超像素圖像中的形狀和邊界信息，將其作為網(wǎng)絡(luò)輸入或后處理以強(qiáng)化邊界信息。這類方法過于依賴超像素先驗(yàn)中的信息，而忽略了來自圖像中的邊界信息。因此，弱監(jiān)督建筑信息提取方法需要充分挖掘圖像級標(biāo)簽中的隱含信息，生成范圍更完整、邊界更清晰的建筑物目標(biāo)區(qū)域；業(yè)內(nèi)急需一種結(jié)合像素語義關(guān)聯(lián)和邊界注意的高分影像弱監(jiān)督建筑物提取方法。

發(fā)明內(nèi)容

本發(fā)明目的在于提供一種結(jié)合像素語義關(guān)聯(lián)和邊界注意的高分影像弱監(jiān)督建筑物提取方法，包括以下步驟：

步驟A、訓(xùn)練數(shù)據(jù)準(zhǔn)備，包括生成所有訓(xùn)練高分遙感影像的超像素圖、生成建筑物類別熱力圖、建筑物背景熱力圖以及初始像素語義關(guān)聯(lián)度標(biāo)簽；

a1、超像素圖生成，將獲取的高分遙感影像作為訓(xùn)練輸入，輸入至超像素分割模型中，設(shè)定每個(gè)超像素圖的超像素個(gè)數(shù)，生成與所有高分遙感影像對應(yīng)的超像素圖G；

a2、建筑物類別熱力圖生成，將獲得的高分遙感影像和高分遙感影像對應(yīng)的語義標(biāo)簽作為輸入，采用卷積神經(jīng)網(wǎng)絡(luò)生成CAM分割種子，得到建筑物類別熱力圖M_b；