[發(fā)明專利]基于多任務(wù)監(jiān)督的無人駕駛實(shí)時(shí)道路場(chǎng)景語義分割方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110017471.3
• 申請(qǐng)日: 2021-01-07
• 公開（公告）號(hào): CN112699889A
• 公開（公告）日: 2021-04-23
• 發(fā)明（設(shè)計(jì)）人: 周武杰;林鑫楊;錢小鴻;萬健;甘興利;葉寧
• 申請(qǐng)（專利權(quán)）人: 浙江科技學(xué)院
• 主分類號(hào): G06K9/34
• 分類號(hào): G06K9/34;G06K9/62;G06N3/08
• 代理公司: 北京睿智保誠(chéng)專利代理事務(wù)所(普通合伙) 11732
• 代理人: 周新楣

本發(fā)明公開了一種基于多任務(wù)監(jiān)督的無人駕駛實(shí)時(shí)道路場(chǎng)景語義分割方法，應(yīng)用于道路場(chǎng)景語義分割技術(shù)領(lǐng)域，步驟包括：選取Q幅原始道路場(chǎng)景圖像的彩色圖像、熱力圖像和對(duì)應(yīng)的真實(shí)語義分割圖像，構(gòu)成訓(xùn)練集；使用MobileNetV2輕量級(jí)網(wǎng)絡(luò)作為特征提取器，并使用改進(jìn)的高效空洞空間特征金字塔結(jié)構(gòu)提取圖像深層次語義特征，使用密集連接結(jié)構(gòu)對(duì)多層次特征進(jìn)行融合，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)；將訓(xùn)練集中原始道路場(chǎng)景圖像的彩色圖像、熱力圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到預(yù)測(cè)圖像；計(jì)算預(yù)測(cè)圖像和對(duì)應(yīng)的原始圖像之間的損失函數(shù)值；依據(jù)損失函數(shù)值，得到最終權(quán)值矢量和最終偏置項(xiàng)。本發(fā)明能提高圖像分割效率和準(zhǔn)確性，達(dá)到實(shí)時(shí)性要求。

技術(shù)領(lǐng)域

本發(fā)明涉及無人駕駛道路場(chǎng)景語義分割技術(shù)領(lǐng)域，更具體的說是涉及一種基于多任務(wù)監(jiān)督的無人駕駛實(shí)時(shí)道路場(chǎng)景語義分割方法。

背景技術(shù)

隨著自動(dòng)駕駛技術(shù)、計(jì)算機(jī)視覺和自然語言處理技術(shù)的不斷發(fā)展，無人駕駛汽車逐漸廣泛地出現(xiàn)在我們的生活當(dāng)中。無人駕駛汽車在行駛過程中需要實(shí)時(shí)精確地理解周圍的場(chǎng)景并對(duì)突發(fā)事件快速做出決策，避免交通事故。因此，高效精確的道路場(chǎng)景語義分割正成為計(jì)算機(jī)視覺領(lǐng)域研究的熱點(diǎn)之一。

語義分割任務(wù)是圖像理解的一個(gè)基礎(chǔ)任務(wù)，也是計(jì)算機(jī)視覺領(lǐng)域中有待解決的一個(gè)重要任務(wù)。在過去的幾年里，深度學(xué)習(xí)技術(shù)，尤其是卷積神經(jīng)網(wǎng)絡(luò)，在語義分割任務(wù)上顯示出了巨大的潛力。通常，語義分割任務(wù)使用的全卷積網(wǎng)絡(luò)架構(gòu)可以分為兩類：基于編碼器-解碼器結(jié)構(gòu)和基于膨脹卷積結(jié)構(gòu)。編碼器-解碼器結(jié)構(gòu)首先使用編碼器提取圖像特征，然后使用解碼器對(duì)空間分辨率進(jìn)行恢復(fù)；膨脹卷積結(jié)構(gòu)為了減少編碼部分空間信息的丟失，使用擴(kuò)張卷積來增加全局的感受野，使得模型能夠兼顧全局語義信息。

盡管膨脹卷積結(jié)構(gòu)具有保持空間信息的優(yōu)點(diǎn)，但如果一直使用較高的空間分辨率不進(jìn)行下采樣會(huì)使得消耗內(nèi)存較大，并且會(huì)對(duì)模型的推理速度有較大影響，無法達(dá)到實(shí)時(shí)性的要求。此外，由于卷積網(wǎng)絡(luò)會(huì)隨著層數(shù)的加深學(xué)到更豐富的特征，高內(nèi)存消耗使得網(wǎng)絡(luò)難以有較深層次的結(jié)構(gòu)。

因此提供一種分割效率高、分割準(zhǔn)確度高，且能夠達(dá)到實(shí)時(shí)性要求的無人駕駛實(shí)時(shí)道路場(chǎng)景語義分割方法是本領(lǐng)域技術(shù)人員亟需解決的問題。

發(fā)明內(nèi)容

本發(fā)明提供了一種基于多任務(wù)監(jiān)督的無人駕駛實(shí)時(shí)道路場(chǎng)景語義分割方法，結(jié)合了低層次和高層次的特征信息，使用密集連接結(jié)構(gòu)進(jìn)行圖像解碼，并使用MobileNetV2輕量級(jí)網(wǎng)絡(luò)作為特征提取器，用改進(jìn)的高效空洞空間特征金字塔結(jié)構(gòu)提取圖像深層次語義特征，并且對(duì)于夜間道路場(chǎng)景，不良的光照條件給夜間場(chǎng)景理解帶來了巨大的挑戰(zhàn)，本發(fā)明使用熱力圖進(jìn)行信息的補(bǔ)充，采用多任務(wù)監(jiān)督方法，其分割效率高、分割準(zhǔn)確度高，能夠達(dá)到實(shí)時(shí)性的要求。

為了實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于多任務(wù)監(jiān)督的無人駕駛實(shí)時(shí)道路場(chǎng)景語義分割方法，具體步驟包括：

選取Q幅原始道路場(chǎng)景圖像的彩色圖像、熱力圖像和對(duì)應(yīng)的真實(shí)前景背景圖、真實(shí)語義分割圖、真實(shí)邊界圖，構(gòu)成訓(xùn)練集；

構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，所述卷積神經(jīng)網(wǎng)絡(luò)使用MobileNetV2輕量級(jí)網(wǎng)絡(luò)作為特征提取器，并使用改進(jìn)的高效空洞空間特征金字塔結(jié)構(gòu)提取圖像深層次語義特征，使用密集連接結(jié)構(gòu)對(duì)多層次特征進(jìn)行融合；

將所述訓(xùn)練集中原始道路場(chǎng)景圖像的彩色圖像、熱力圖像作為原始輸入圖像，輸入到所述卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到對(duì)應(yīng)的前景背景預(yù)測(cè)圖、語義分割預(yù)測(cè)圖和邊界預(yù)測(cè)圖；

計(jì)算訓(xùn)練得到的前景背景預(yù)測(cè)圖、語義分割預(yù)測(cè)圖、邊界預(yù)測(cè)圖和對(duì)應(yīng)的真實(shí)前景背景圖、真實(shí)語義分割圖、真實(shí)邊界圖之間的損失函數(shù)值；

重復(fù)訓(xùn)練并計(jì)算損失函數(shù)值，將最后一次訓(xùn)練結(jié)果確定為最終權(quán)值矢量和最終偏置項(xiàng)。

進(jìn)一步的，所述Q幅原始道路場(chǎng)景圖像選用MFNet中報(bào)告的道路場(chǎng)景圖像數(shù)據(jù)庫中的圖像。