[發(fā)明專利]基于遷移學(xué)習(xí)的遙感圖像語義分割方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911376836.0
• 申請(qǐng)日: 2019-12-27
• 公開（公告）號(hào): CN111209813B
• 公開（公告）日: 2021-01-22
• 發(fā)明（設(shè)計(jì)）人: 孔瑩瑩;張博文;閆碧原;劉艷娟
• 申請(qǐng)（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/34;G06K9/62
• 代理公司: 南京先科專利代理事務(wù)所(普通合伙) 32285
• 代理人: 孫甫臣

本發(fā)明公開了一種基于遷移學(xué)習(xí)的遙感圖像語義分割技術(shù)，涉及遙感圖像處理技術(shù)領(lǐng)域，解決了遙感圖像語義分割的深度學(xué)習(xí)方法上的耗時(shí)長、應(yīng)用范圍窄等技術(shù)問題，其技術(shù)方案要點(diǎn)是應(yīng)用遷移學(xué)習(xí)技術(shù)，將由其他數(shù)據(jù)集即源域訓(xùn)練的初始化模型經(jīng)過遷移后應(yīng)用在遙感圖像即目標(biāo)域的語義分割任務(wù)上，遷移后的初始化模型只需訓(xùn)練該初始化模型未被凍結(jié)的參數(shù)層，在準(zhǔn)確率相近的情況下大大降低了模型的訓(xùn)練時(shí)長，提高了深度學(xué)習(xí)網(wǎng)絡(luò)模型的可重用性。

技術(shù)領(lǐng)域

本公開涉及遙感圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于遷移學(xué)習(xí)的遙感圖像語義分割方法。

背景技術(shù)

遙感是一種非接觸、遠(yuǎn)距離的探測(cè)技術(shù)，一般指運(yùn)用傳感器或遙感器對(duì)物體的電磁波輻射、反射特性進(jìn)行探測(cè)，通過這類對(duì)電磁波敏感的儀器，在遠(yuǎn)離目標(biāo)或不接觸目標(biāo)物體條件下探測(cè)目標(biāo)的地物。遙感技術(shù)在國土檢測(cè)、災(zāi)情評(píng)估、城市規(guī)劃、軍事勘探等多方面有著廣泛的應(yīng)用，對(duì)其獲取的圖像進(jìn)行語義分割即將其分割為各種類別的圖像塊是對(duì)其進(jìn)一步應(yīng)用的基礎(chǔ)。目前圖像語義分割的主流實(shí)現(xiàn)方法為深度學(xué)習(xí)，但其訓(xùn)練的耗時(shí)較長、應(yīng)用范圍較窄。

發(fā)明內(nèi)容

技術(shù)目的：克服遙感圖像語義分割的深度學(xué)習(xí)方法上的耗時(shí)長、應(yīng)用范圍窄等問題。

本公開的上述技術(shù)目的是通過以下技術(shù)方案得以實(shí)現(xiàn)的：

一種基于遷移學(xué)習(xí)的遙感圖像語義分割方法，包括：

選擇源域數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)為初始化網(wǎng)絡(luò)W，使用所述W初始化目標(biāo)網(wǎng)絡(luò)模型的淺層參數(shù)，然后凍結(jié)初始化后的所述淺層參數(shù)，被凍結(jié)的所述淺層參數(shù)不參與所述目標(biāo)網(wǎng)絡(luò)模型的后續(xù)訓(xùn)練；

獲取所述源域數(shù)據(jù)和遙感圖像數(shù)據(jù)的最大平均差異MMD指標(biāo)以及SMTD指標(biāo)；

若所述SMTD指標(biāo)小于預(yù)設(shè)閾值σ，使用所述遙感圖像數(shù)據(jù)訓(xùn)練所述目標(biāo)網(wǎng)絡(luò)模型中未被初始化的參數(shù)層，直至所述目標(biāo)網(wǎng)絡(luò)模型收斂則得到最終分割模型，否則繼續(xù)訓(xùn)練；

使用所述最終分割模型進(jìn)行遙感圖像語義分割。

進(jìn)一步地，所述其中，H表示該MMD距離將數(shù)據(jù)映射到再生核希爾伯特空間(Reproducing Kernel HilbertSpace,RKHS)中的度量，X為所述源域數(shù)據(jù)，x_i為所述源域數(shù)據(jù)中需要進(jìn)行分類的像素，Y表示所述遙感圖像數(shù)據(jù)，y_i為所述遙感圖像數(shù)據(jù)中需要進(jìn)行分類的像素，φ(.)為特征空間的映射函數(shù)，i,j,m,n為正整數(shù)。

進(jìn)一步地，所述SMTD指標(biāo)為其中，Y_s→t為源域數(shù)據(jù)到遙感圖像數(shù)據(jù)的標(biāo)簽空間變化量，A_t與A_s為使用所述最終分割模型分別在源域數(shù)據(jù)和遙感圖像數(shù)據(jù)進(jìn)行深度監(jiān)督學(xué)習(xí)時(shí)得到的驗(yàn)證集上的準(zhǔn)確率。

本公開的有益效果在于：應(yīng)用遷移學(xué)習(xí)技術(shù)可以將由其他數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)中的通用特征(點(diǎn)、線等)遷移到遙感圖像上，避免了特征的重復(fù)學(xué)習(xí)，與現(xiàn)有的基于深度學(xué)習(xí)的遙感圖像語義分割技術(shù)相比，本公開降低了深度學(xué)習(xí)模型的訓(xùn)練時(shí)間，提高了深度學(xué)習(xí)模型的可重用性。

附圖說明

圖1為本公開方法流程圖；

圖2為遷移學(xué)習(xí)整體架構(gòu)示意圖；

圖3是遙感圖像數(shù)據(jù)示例圖，其中(a)為遙感圖像；(b)為對(duì)應(yīng)的DSM；(c)為人工標(biāo)注的標(biāo)簽；

圖4為三種遷移學(xué)習(xí)方案最終分割結(jié)果示例圖，(a)為原始遙感圖像；(b)為對(duì)應(yīng)的DSM；(c)為UAV-DSM遷移結(jié)果示意圖；(d)為由遙感圖像的數(shù)據(jù)直接訓(xùn)練的模型的輸出結(jié)果；(e)為由MSRC遷移的模型的輸出結(jié)果；(f)為人工標(biāo)注的標(biāo)簽。

具體實(shí)施方式

下面將結(jié)合附圖對(duì)本公開技術(shù)方案進(jìn)行詳細(xì)說明。