[發(fā)明專利]基于編解碼器的圖像語(yǔ)義分割方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010082637.5
• 申請(qǐng)日: 2020-02-07
• 公開（公告）號(hào): CN111292330A
• 公開（公告）日: 2020-06-16
• 發(fā)明（設(shè)計(jì)）人: 青晨;禹晶;楊亞飛;肖創(chuàng)柏
• 申請(qǐng)（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06T7/10
• 分類號(hào): G06T7/10;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 楊明月

1.一種基于編解碼器的圖像語(yǔ)義分割方法，其特征在于，包括：

將待檢測(cè)圖像輸入至預(yù)設(shè)的圖像語(yǔ)義分割網(wǎng)絡(luò)模型的編碼器，利用卷積網(wǎng)絡(luò)提取特征后，分別輸入多個(gè)不同尺寸池化層，根據(jù)多個(gè)不同尺寸池化層的輸出結(jié)果進(jìn)行特征融合，得到待檢測(cè)圖像的特征圖；

將所述特征圖輸入所述圖像語(yǔ)義分割網(wǎng)絡(luò)模型的解碼器，得到語(yǔ)義分析的檢測(cè)結(jié)果；

其中，所述圖像語(yǔ)義分割網(wǎng)絡(luò)模型根據(jù)帶有確定的語(yǔ)義標(biāo)簽的樣本圖像進(jìn)行訓(xùn)練后得到。

2.根據(jù)權(quán)利要求1所述的基于編解碼器的圖像語(yǔ)義分割方法，其特征在于，所述根據(jù)多個(gè)不同尺寸池化層的輸出結(jié)果進(jìn)行特征融合之前，還包括：

對(duì)多個(gè)池化層的輸出結(jié)果分別進(jìn)行批標(biāo)準(zhǔn)化和1×1的卷積操作，以使融合后的特征通道數(shù)與卷積層提取的特征圖通道數(shù)一致。

3.根據(jù)權(quán)利要求1所述的基于編解碼器的圖像語(yǔ)義分割方法，其特征在于，所述將所述特征圖輸入所述圖像語(yǔ)義分割網(wǎng)絡(luò)模型的解碼器，得到語(yǔ)義分析的檢測(cè)結(jié)果，包括：

獲取編碼器的卷積網(wǎng)絡(luò)提取的低層特征；

對(duì)待檢測(cè)圖像的特征圖進(jìn)行上采樣，得到與所述低層特征維度相同的特征圖；

將所述低層特征和上采樣后的特征圖進(jìn)行特征融合，并進(jìn)行上采樣得到與待檢測(cè)圖像相同維度的特征圖；

根據(jù)所述與待檢測(cè)圖像相同維度的特征圖，得到語(yǔ)義分析的檢測(cè)結(jié)果。

4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的基于編解碼器的圖像語(yǔ)義分割方法，其特征在于，所述進(jìn)行上采樣，包括：

基于雙線性插值進(jìn)行上采樣。

5.根據(jù)權(quán)利要求1所述的基于編解碼器的圖像語(yǔ)義分割方法，其特征在于，所述卷積網(wǎng)絡(luò)包括ResNet101網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求1所述的基于編解碼器的圖像語(yǔ)義分割方法，其特征在于，所述將待檢測(cè)圖像輸入至預(yù)設(shè)的圖像語(yǔ)義分割網(wǎng)絡(luò)模型的編碼器之前，還包括：

獲取多個(gè)帶有確定的語(yǔ)義標(biāo)簽的樣本圖像；

基于包含動(dòng)量系數(shù)的隨機(jī)梯度下降法和poly學(xué)習(xí)率更新策略，對(duì)建立的圖像語(yǔ)義分割網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，以得到所述預(yù)設(shè)的圖像語(yǔ)義分割網(wǎng)絡(luò)模型。

7.根據(jù)權(quán)利要求6所述的基于編解碼器的圖像語(yǔ)義分割方法，其特征在于，所述獲取多個(gè)帶有確定的語(yǔ)義標(biāo)簽的樣本圖像之后，還包括：

對(duì)樣本圖像進(jìn)行圖像擴(kuò)增處理；

所述圖像擴(kuò)增處理的方式包括，圖像水平鏡像、圖像尺度隨機(jī)放縮和圖像尺寸隨機(jī)裁剪。

8.一種基于編解碼器的圖像語(yǔ)義分割裝置，其特征在于，包括：

編碼模塊，用于將待檢測(cè)圖像輸入至預(yù)設(shè)的圖像語(yǔ)義分割網(wǎng)絡(luò)模型的編碼器，利用卷積網(wǎng)絡(luò)提取特征后，分別輸入多個(gè)不同尺寸池化層，根據(jù)多個(gè)不同尺寸池化層的輸出結(jié)果進(jìn)行特征融合，得到待檢測(cè)圖像的特征圖；

解碼模塊，用于將所述特征圖輸入所述圖像語(yǔ)義分割網(wǎng)絡(luò)模型的解碼器，得到語(yǔ)義分析的檢測(cè)結(jié)果；

其中，所述圖像語(yǔ)義分割網(wǎng)絡(luò)模型根據(jù)帶有確定的語(yǔ)義標(biāo)簽的樣本圖像進(jìn)行訓(xùn)練后得到。

9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述基于編解碼器的圖像語(yǔ)義分割方法的步驟。

10.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述基于編解碼器的圖像語(yǔ)義分割方法的步驟。