[發(fā)明專利]室外道路場(chǎng)景語(yǔ)義分割方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010013648.8
• 申請(qǐng)日: 2020-01-07
• 公開（公告）號(hào): CN111242132A
• 公開（公告）日: 2020-06-05
• 發(fā)明（設(shè)計(jì)）人: 賴志林;俞錦濤;李睿
• 申請(qǐng)（專利權(quán)）人: 廣州賽特智能科技有限公司
• 主分類號(hào): G06K9/34
• 分類號(hào): G06K9/34;G06K9/62;G06N3/04
• 代理公司: 廣州科捷知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44560
• 代理人: 袁嘉恩

本發(fā)明公開了室外道路場(chǎng)景語(yǔ)義分割方法，包括如下步驟：采集RGB圖像信息以及深度信息，以獲取RGB圖像以及深度圖像；創(chuàng)建卷積網(wǎng)絡(luò)架構(gòu)以及反卷積網(wǎng)絡(luò)架構(gòu)；將當(dāng)前的RGB圖像以及深度圖像輸入至卷積網(wǎng)絡(luò)架構(gòu)中分別逐層提取特征點(diǎn)，并將每一層的RGB圖像的特征點(diǎn)與深度圖像的特征點(diǎn)融合后作為融合特征點(diǎn)，輸出至反卷積網(wǎng)絡(luò)架構(gòu)中；反卷積網(wǎng)絡(luò)架構(gòu)將每一層的融合特征點(diǎn)反向運(yùn)算，并進(jìn)行優(yōu)化處理后輸出語(yǔ)義分割圖像。本發(fā)明通過(guò)不同層多維度融合特征進(jìn)行分割，很好地解決道路分割時(shí)由于場(chǎng)景，光照，天氣等因素引起的誤分割、空洞等問題；最后通過(guò)對(duì)分割圖作后端優(yōu)化，使得邊緣分割精確。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)，尤其涉及室外道路場(chǎng)景語(yǔ)義分割方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

目前實(shí)時(shí)語(yǔ)義分割網(wǎng)絡(luò)，一般采用輕量級(jí)的分類骨干網(wǎng)絡(luò)對(duì)RGB提取特征，之后再采用FCN，UNet等網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行語(yǔ)義分割。室外主要分割：路面，人，摩托車，自行車，小車，貨車，巴士，房子，天空，植被等。實(shí)時(shí)語(yǔ)義分割網(wǎng)絡(luò)普遍存在著以下問題：由于不同場(chǎng)景(地面紋理各種各樣)，光照差異，天氣等因素引起很多誤分割、空洞等問題。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的之一在于提供室外道路場(chǎng)景語(yǔ)義分割方法，其能解決現(xiàn)有技術(shù)的語(yǔ)義分割網(wǎng)絡(luò)存在誤分割、空洞等問題。

本發(fā)明的目的之二在于提供室外道路場(chǎng)景語(yǔ)義分割裝置，其能解決現(xiàn)有技術(shù)的語(yǔ)義分割網(wǎng)絡(luò)存在誤分割、空洞等問題。

本發(fā)明的目的之三在于提供電子設(shè)備，其能解決現(xiàn)有技術(shù)的語(yǔ)義分割網(wǎng)絡(luò)存在誤分割、空洞等問題。

本發(fā)明的目的之四在于提供存儲(chǔ)介質(zhì)，其能解決現(xiàn)有技術(shù)的語(yǔ)義分割網(wǎng)絡(luò)存在誤分割、空洞等問題。

本發(fā)明的目的之一采用以下技術(shù)方案實(shí)現(xiàn)：

室外道路場(chǎng)景語(yǔ)義分割方法，包括如下步驟：

采集RGB圖像信息以及深度信息，以獲取RGB圖像以及深度圖像；

創(chuàng)建卷積網(wǎng)絡(luò)架構(gòu)以及反卷積網(wǎng)絡(luò)架構(gòu)；

將當(dāng)前的RGB圖像以及深度圖像輸入至卷積網(wǎng)絡(luò)架構(gòu)中分別逐層提取特征點(diǎn)，并將每一層的RGB圖像的特征點(diǎn)與深度圖像的特征點(diǎn)融合后作為融合特征點(diǎn)，輸出至反卷積網(wǎng)絡(luò)架構(gòu)中；

反卷積網(wǎng)絡(luò)架構(gòu)將每一層的融合特征點(diǎn)反向運(yùn)算，并進(jìn)行優(yōu)化處理后輸出語(yǔ)義分割圖像。

優(yōu)選的，所述優(yōu)化處理的具體方式為在反卷積網(wǎng)絡(luò)架構(gòu)將每一層的融合特征點(diǎn)反向運(yùn)算后，輸出至CRF隨機(jī)場(chǎng)網(wǎng)絡(luò)層對(duì)圖像邊緣進(jìn)行精細(xì)分割，之后輸出語(yǔ)義分割圖像。

優(yōu)選的，所述卷積網(wǎng)絡(luò)架構(gòu)以及反卷積網(wǎng)絡(luò)架構(gòu)均為五層。

優(yōu)選的，將當(dāng)前的RGB圖像以及深度圖像輸入至卷積網(wǎng)絡(luò)架構(gòu)之前將所述RGB圖像以及深度圖像進(jìn)行歸一化處理。

本發(fā)明的目的之二采用以下技術(shù)方案實(shí)現(xiàn)：

室外道路場(chǎng)景語(yǔ)義分割裝置，包括，

采集單元：配置于采集RGB圖像信息以及深度信息，以獲取RGB圖像以及深度圖像；

創(chuàng)建單元：配置于創(chuàng)建卷積網(wǎng)絡(luò)架構(gòu)以及反卷積網(wǎng)絡(luò)架構(gòu)；

運(yùn)算單元：配置于將當(dāng)前的RGB圖像以及深度圖像輸入至卷積網(wǎng)絡(luò)架構(gòu)中分別逐層提取特征點(diǎn)，并將每一層的RGB圖像的特征點(diǎn)與深度圖像的特征點(diǎn)融合后作為融合特征點(diǎn)，輸出至反卷積網(wǎng)絡(luò)架構(gòu)中；

輸出單元：配置于反卷積網(wǎng)絡(luò)架構(gòu)將每一層的融合特征點(diǎn)反向運(yùn)算，并進(jìn)行優(yōu)化處理后輸出語(yǔ)義分割圖像。