[發(fā)明專利]基于階段性特征語義對(duì)齊的實(shí)時(shí)街景圖像語義分割方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110295657.5
• 申請(qǐng)日: 2021-03-19
• 公開（公告）號(hào): CN113011429B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計(jì)）人: 嚴(yán)嚴(yán);翁熙;王菡子
• 申請(qǐng)（專利權(quán)）人: 廈門大學(xué)
• 主分類號(hào): G06V10/26
• 分類號(hào): G06V10/26;G06V10/774;G06V10/764;G06V10/82;G06V20/10;G06N3/0455;G06N3/0464;G06N3/048;G06N3/082
• 代理公司: 廈門南強(qiáng)之路專利事務(wù)所(普通合伙) 35200
• 代理人: 馬應(yīng)森

1.一種基于階段性特征語義對(duì)齊的實(shí)時(shí)街景圖像語義分割方法，其特征在于包括以下步驟：

A.將街景圖像語義分割數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集；

B.以輕量級(jí)圖像分類網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，結(jié)合專門設(shè)計(jì)的空間-通道注意力模塊構(gòu)建語義分割網(wǎng)絡(luò)模型的基礎(chǔ)網(wǎng)絡(luò)；

所述語義分割網(wǎng)絡(luò)模型的基礎(chǔ)網(wǎng)絡(luò)的構(gòu)建方式包括以下兩個(gè)子步驟：

B1.采用輕量級(jí)圖像分類網(wǎng)絡(luò)ResNet-18為基礎(chǔ)，移除ResNet-18最后一個(gè)基礎(chǔ)殘差塊后的全部網(wǎng)絡(luò)層，以得到初步的語義分割網(wǎng)絡(luò)模型的基礎(chǔ)網(wǎng)絡(luò)；該基礎(chǔ)網(wǎng)絡(luò)中一共含有8個(gè)基礎(chǔ)殘差塊，以連續(xù)的2個(gè)基礎(chǔ)殘差塊為一組，將網(wǎng)絡(luò)分為四個(gè)階段：Res-1、Res-2、Res-3和Res-4；

B2.將空間-通道注意力模塊嵌入Res-2、Res-3和Res-4的兩個(gè)殘差模塊之間，以提高語義分割網(wǎng)絡(luò)模型的基礎(chǔ)網(wǎng)絡(luò)的特征表示能力，降低下采樣操作帶來的信息損失；得到語義分割網(wǎng)絡(luò)模型中的基礎(chǔ)網(wǎng)絡(luò)部分；所述空間-通道注意力模塊含有兩條分支路徑，空間分支含有一個(gè)1×1的標(biāo)準(zhǔn)卷積和一個(gè)Sigmoid激活函數(shù)，通道分支含有一個(gè)全局平均池化操作，一個(gè)1×1的1D卷積和一個(gè)Sigmoid激活函數(shù)；

C.根據(jù)步驟B中得到的基礎(chǔ)網(wǎng)絡(luò)中不同階段特征的自身特性，設(shè)計(jì)具有不同網(wǎng)絡(luò)結(jié)構(gòu)的特征語義對(duì)齊模塊；

D.以步驟B中得到的基礎(chǔ)網(wǎng)絡(luò)為編碼器，并以全局平均池化層和步驟C中設(shè)計(jì)的多個(gè)特征語義對(duì)齊模塊組合為解碼器，搭建以對(duì)稱的編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)的語義分割網(wǎng)絡(luò)模型；

E.把步驟D得到的網(wǎng)絡(luò)結(jié)構(gòu)的最后階段輸出特征與編碼器第一階段的特征進(jìn)行聚合，并送入語義分割結(jié)果生成模塊中形成預(yù)測(cè)結(jié)果；

F.使用語義分割訓(xùn)練集對(duì)步驟E中得到的語義分割網(wǎng)絡(luò)中的參數(shù)進(jìn)行訓(xùn)練；

G.在訓(xùn)練中，有選擇性地將部分特征語義對(duì)齊模塊的輸出特征送入相互獨(dú)立的語義分割結(jié)果生成模塊中生成不同的預(yù)測(cè)結(jié)果，利用這些預(yù)測(cè)結(jié)果共同更新網(wǎng)絡(luò)參數(shù)，以顯式地解決街景圖像中的目標(biāo)多尺度問題；

H.將測(cè)試集輸入訓(xùn)練好的網(wǎng)絡(luò)中，得到相應(yīng)的街景圖像的語義分割結(jié)果。

2.如權(quán)利要求1所述一種基于階段性特征語義對(duì)齊的實(shí)時(shí)街景圖像語義分割方法，其特征在于在步驟A中：所述街景圖像語義分割數(shù)據(jù)集采用公開數(shù)據(jù)集Cityscapes，該數(shù)據(jù)集含有25000張街景圖像，并根據(jù)語義標(biāo)注的精細(xì)程度，劃分為5000張精細(xì)標(biāo)注子集與20000張粗略標(biāo)注子集；將5000張精細(xì)標(biāo)注子集進(jìn)一步劃分為2975張訓(xùn)練集、500張驗(yàn)證集和1525張測(cè)試集；每張圖像都有1024×2048分辨率的大小且每個(gè)像素點(diǎn)被標(biāo)注為預(yù)先定義的19個(gè)類別，包括road、sidewalk、building、wall、fence、pole、traffic?light、traffic?sign、vegetation、terrain、sky、person、rider、car、truck、bus、train、motorcycle、bicycle。