[發(fā)明專利]基于自監(jiān)督對(duì)比學(xué)習(xí)的遙感圖像語義分割方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110285256.1
• 申請(qǐng)日: 2021-03-17
• 公開（公告）號(hào): CN113011427B
• 公開（公告）日: 2022-06-21
• 發(fā)明（設(shè)計(jì)）人: 李海峰;李益;李朋龍;丁憶;馬澤忠;張澤烈;胡艷;肖禾;陶超
• 申請(qǐng)（專利權(quán)）人: 中南大學(xué);重慶市地理信息和遙感應(yīng)用中心
• 主分類號(hào): G06V10/26
• 分類號(hào): G06V10/26;G06V10/44;G06V10/75;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長沙大珂知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 43236
• 代理人: 王瓊琦

1.基于自監(jiān)督對(duì)比學(xué)習(xí)的遙感圖像語義分割方法，其特征在于，包括以下步驟：

步驟1，構(gòu)建Deeplab v3+網(wǎng)絡(luò)模型；

步驟2，采用無標(biāo)注數(shù)據(jù)對(duì)所述網(wǎng)絡(luò)模型的編碼器進(jìn)行預(yù)訓(xùn)練；

步驟3，預(yù)訓(xùn)練完成后，在標(biāo)注樣本上對(duì)所述網(wǎng)絡(luò)模型進(jìn)行有監(jiān)督語義分割訓(xùn)練；

步驟4，采用有監(jiān)督語義分割訓(xùn)練完成的網(wǎng)絡(luò)模型對(duì)遙感圖像進(jìn)行語義分割；

其中在預(yù)訓(xùn)練的過程中，采用全局風(fēng)格對(duì)比和局部匹配對(duì)比結(jié)合的方式進(jìn)行對(duì)比學(xué)習(xí)，包括以下步驟：

步驟201，對(duì)所述的無標(biāo)注數(shù)據(jù)進(jìn)行隨機(jī)數(shù)據(jù)變換，對(duì)于給定樣本x_i進(jìn)行隨機(jī)數(shù)據(jù)變換t′(x_i)和t″(x_i)，從而產(chǎn)生兩個(gè)相關(guān)實(shí)例x′_i和x″_i，視為正樣本對(duì)，t′表示進(jìn)行隨機(jī)裁剪縮放，t″表示依次進(jìn)行隨機(jī)裁剪縮放，隨機(jī)翻轉(zhuǎn)，隨機(jī)旋轉(zhuǎn)，隨機(jī)顏色失真和隨機(jī)高斯模糊；

步驟202，利用Deeplab v3+網(wǎng)絡(luò)模型中的編碼器e(·)從變換后的樣本實(shí)例中進(jìn)行全局風(fēng)格特征的特征圖提取：stylef_i′＝stylef(x′_i)＝cat(μ(e(x′_i))，σ(e(x′_i))，其中，stylef_i′表示全局風(fēng)格特征，μ代表對(duì)特征圖中每一個(gè)通道求均值，即全局平均池化，σ代表對(duì)每一個(gè)通道求方差，cat代表通道拼接；

步驟203，采用投影頭projection head對(duì)全局風(fēng)格特征進(jìn)行處理，所述投影頭g(·)為具有一個(gè)隱含層的多層感知機(jī)：

z_i′＝g(stylef_i′)＝W⁽²⁾r(W⁽¹⁾stylef_i′)

其中，W⁽²⁾表示第二個(gè)全連接層、W⁽¹⁾表示第一個(gè)全連接層、r表示Relu激活函數(shù)，z_i′表示所述投影頭g(·)處理后的全局風(fēng)格特征；

步驟204，利用Deeplab v3+網(wǎng)絡(luò)模型的編碼器e(·)和解碼器d(·)從變換后的樣本實(shí)例x′_i和x″_i中提取特征向量d(e(x′_i))和d(e(x″_i))，根據(jù)選擇和匹配局部區(qū)域的思想，從d(e(x′_i))和d(e(x″_i))獲取多個(gè)相匹配局部所對(duì)應(yīng)的特征，p′_j和p″_j是相匹配局部所對(duì)應(yīng)特征圖，然后對(duì)特征圖進(jìn)行全局平均池化獲取局部特征向量，即：

f_L(p′_j)＝μ(p′_j)

其中，f_L(p′_j)為局部特征向量；

步驟205，采用投影頭projection head g_L(·)對(duì)局部特征向量進(jìn)行處理，所述投影頭g_L(·)為具有一個(gè)隱含層的多層感知機(jī)：

u′_j＝g_L(f_L(p′_j))＝W⁽⁴⁾r(W⁽³⁾f_L(p′_j))

其中，W⁽⁴⁾表示第四個(gè)全連接層、W⁽³⁾表示第三個(gè)全連接層，u_j表示所述投影頭g_L(·)處理后的局部匹配特征；

步驟206，使用整體損失函數(shù)訓(xùn)練編碼器，整體損失函數(shù)由全局風(fēng)格對(duì)比損失和局部匹配對(duì)比損失構(gòu)成：

L＝(1-λ)l_G+λ·l_L

其中，λ為可調(diào)權(quán)重參數(shù)，l_G表示全局風(fēng)格對(duì)比損失，l_L表示局部匹配對(duì)比損失。