[發(fā)明專利]一種基于雙邊分割網(wǎng)絡(luò)的車載圖像語義分割系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810849657.3
• 申請日: 2018-07-28
• 公開（公告）號: CN109101907B
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計）人: 高常鑫;何兆華;余昌黔;桑農(nóng)
• 申請（專利權(quán)）人: 華中科技大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 李智;曹葆青

1.一種基于雙邊分割網(wǎng)絡(luò)的車載圖像語義分割系統(tǒng)，其特征在于，所述系統(tǒng)包含數(shù)據(jù)存儲模塊、訓(xùn)練模塊、雙邊分割網(wǎng)絡(luò)和語義分割模塊：

所述數(shù)據(jù)存儲模塊，用于存儲車載圖像訓(xùn)練集和待測車載圖像；

所述雙邊分割網(wǎng)絡(luò)包含：空間通道、上下文通道和特征融合模塊，其中，

所述空間通道用于提取車載圖像的空間信息，其包含3層，每一層包含一個卷積層，車載圖像經(jīng)過空間通道之后，獲得尺寸為車載圖像尺寸的1/8、且通道數(shù)為128的低層次特征圖；

所述上下文通道用于提取車載圖像的上下文語義信息，其包含輕量化網(wǎng)絡(luò)模型Xception和兩個注意力提純模塊，所述輕量化網(wǎng)絡(luò)模型Xception的輸入為車載圖像，其包括4個下采樣階段，第一下采樣階段對圖像進行快速下采樣，第二下采樣階段、第三下采樣階段、第四下采樣階段均對上一個下采樣階段輸出的特征圖進行下采樣；第一注意力提純模塊的輸入為輕量化網(wǎng)絡(luò)模型Xception第三下采樣階段輸出的特征圖，第二注意力提純模塊的輸入為輕量化網(wǎng)絡(luò)模型Xception第四下采樣階段輸出的特征圖，第二注意力提純模塊得到的特征圖，由Xception第四下采樣階段得到的特征圖通過全局均值池化得到的權(quán)重向量進一步提純，車載圖像經(jīng)過上下文通道后獲得通道數(shù)為128的高層次特征圖；

所述特征融合模塊，用于融合空間通道與上下文通道獲得的特征圖，空間通道輸出的低層次特征圖和上下文通道輸出的高層次特征圖經(jīng)過特征融合模塊后，得到一個256通道的特征圖；

所述訓(xùn)練模塊，用于利用車載圖像訓(xùn)練集訓(xùn)練所述雙邊分割網(wǎng)絡(luò)；

所述語義分割模塊，用于利用訓(xùn)練好的雙邊分割網(wǎng)絡(luò)，預(yù)測待測車載圖像，得到待測車載圖像中每個像素所屬的類別。

2.如權(quán)利要求1所述的車載圖像語義分割系統(tǒng)，其特征在于，所述空間通道的每層包含依次連接的卷積層、BN層、ReLU函數(shù)。

3.如權(quán)利要求1所述的車載圖像語義分割系統(tǒng)，其特征在于，注意力提純模塊，利用全局均值池化獲取全局的上下文信息，并通過注意力向量指導(dǎo)特征的學(xué)習(xí)，用于去除下采樣特征圖包含的冗余信息。

4.如權(quán)利要求1所述的車載圖像語義分割系統(tǒng)，其特征在于，所述注意力提純模塊的輸入，依次經(jīng)過全局均值池化層、卷積層、BN層、ReLu函數(shù)，得到的維度與輸入的通道數(shù)相等的向量，該向量與注意力提純模塊的輸入相乘，獲得通道數(shù)為128的特征圖。

5.如權(quán)利要求1所述的車載圖像語義分割系統(tǒng)，其特征在于，將第一注意力提純模塊ARM1輸出的通道數(shù)為128的特征圖與第二個注意力提純模塊經(jīng)過進一步提純得到的128通道的特征圖，經(jīng)過拼接融合，形成一個通道數(shù)為128的特征圖，作為上下文通道得到的高層次特征。

6.如權(quán)利要求1所述的車載圖像語義分割系統(tǒng)，其特征在于，所述特征融合模塊，用于將空間通道與上下文通道得到的特征圖融合后，依次經(jīng)過卷積層、BN層、ReLu函數(shù)，得到一個融合后的特征圖，通過Sigmoid函數(shù)來計算特征圖中每個通道的權(quán)重，利用全局均值池化操作將其轉(zhuǎn)變成一個權(quán)重向量，用于特征選擇與聯(lián)合，融合后的特征圖與權(quán)重向量相乘得到一個256通道的特征圖。