[發(fā)明專利]基于多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的道路場(chǎng)景識(shí)別方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011060853.6
• 申請(qǐng)日: 2020-09-30
• 公開(kāi)（公告）號(hào): CN112183395A
• 公開(kāi)（公告）日: 2021-01-05
• 發(fā)明（設(shè)計(jì)）人: 陳海波;武玉琪
• 申請(qǐng)（專利權(quán)）人: 深蘭人工智能（深圳）有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/34;G06N3/04;G06N3/08
• 代理公司: 常州佰業(yè)騰飛專利代理事務(wù)所(普通合伙) 32231
• 代理人: 陳紅橋

本發(fā)明提供了一種基于多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的道路場(chǎng)景識(shí)別方法和系統(tǒng)，其中，所述方法包括以下步驟：獲取道路場(chǎng)景的圖像信息；對(duì)圖像信息分別進(jìn)行語(yǔ)義分割和目標(biāo)檢測(cè)標(biāo)注以得到訓(xùn)練數(shù)據(jù)集；對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)處理；構(gòu)建多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)；根據(jù)增強(qiáng)處理后的訓(xùn)練數(shù)據(jù)集對(duì)多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；根據(jù)訓(xùn)練后的多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對(duì)道路場(chǎng)景圖像進(jìn)行目標(biāo)檢測(cè)和語(yǔ)義分割。本發(fā)明能夠通過(guò)訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)同時(shí)實(shí)現(xiàn)語(yǔ)義分割和目標(biāo)檢測(cè)兩個(gè)任務(wù)，從而能夠有效減道路場(chǎng)景識(shí)別的時(shí)間，以提高道路場(chǎng)景識(shí)別效率，并能夠節(jié)省顯存資源。

技術(shù)領(lǐng)域

本發(fā)明涉及道路場(chǎng)景識(shí)別技術(shù)領(lǐng)域，具體涉及一種基于多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的道路場(chǎng)景識(shí)別方法和一種基于多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的道路場(chǎng)景識(shí)別系統(tǒng)。

背景技術(shù)

目前常用于道路場(chǎng)景識(shí)別的網(wǎng)絡(luò)，往往只能單獨(dú)進(jìn)行語(yǔ)義分割或著目標(biāo)檢測(cè)，因此在實(shí)際執(zhí)行道路場(chǎng)景識(shí)別任務(wù)時(shí)，需要分別執(zhí)行語(yǔ)義分割和目標(biāo)檢測(cè)，并且在進(jìn)行網(wǎng)絡(luò)訓(xùn)練時(shí)也需要分別訓(xùn)練語(yǔ)義分割網(wǎng)絡(luò)和目標(biāo)檢測(cè)網(wǎng)絡(luò)，由此，容易導(dǎo)致識(shí)別過(guò)程和訓(xùn)練過(guò)程均占用較多的顯存資源，并且耗時(shí)較長(zhǎng)。

發(fā)明內(nèi)容

本發(fā)明旨在至少在一定程度上解決上述技術(shù)中的技術(shù)問(wèn)題之一。為此，本發(fā)明的一個(gè)目的在于提出一種基于多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的道路場(chǎng)景識(shí)別方法，能夠通過(guò)訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)同時(shí)實(shí)現(xiàn)語(yǔ)義分割和目標(biāo)檢測(cè)兩個(gè)任務(wù)，從而能夠有效減道路場(chǎng)景識(shí)別的時(shí)間，以提高道路場(chǎng)景識(shí)別效率，并能夠節(jié)省顯存資源。

本發(fā)明的第二個(gè)目的在于提出一種基于多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的道路場(chǎng)景識(shí)別系統(tǒng)。

本發(fā)明的第三個(gè)目的在于提出一種計(jì)算機(jī)設(shè)備。

為達(dá)到上述目的，本發(fā)明第一方面實(shí)施例提出了一種基于多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的道路場(chǎng)景識(shí)別方法，包括以下步驟：獲取所述道路場(chǎng)景的圖像信息；對(duì)所述圖像信息分別進(jìn)行語(yǔ)義分割和目標(biāo)檢測(cè)標(biāo)注以得到訓(xùn)練數(shù)據(jù)集；對(duì)所述訓(xùn)練數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)處理；構(gòu)建所述多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)；根據(jù)增強(qiáng)處理后的所述訓(xùn)練數(shù)據(jù)集對(duì)所述多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；根據(jù)訓(xùn)練后的所述多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對(duì)所述道路場(chǎng)景圖像進(jìn)行目標(biāo)檢測(cè)和語(yǔ)義分割。

根據(jù)本發(fā)明實(shí)施例提出的基于多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的道路場(chǎng)景識(shí)別方法，通過(guò)獲取道路場(chǎng)景的圖像信息，并對(duì)圖像信息分別進(jìn)行語(yǔ)義分割和目標(biāo)檢測(cè)標(biāo)注以得到訓(xùn)練數(shù)據(jù)集，以及對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)處理，然后構(gòu)建多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，并根據(jù)增強(qiáng)處理后的訓(xùn)練數(shù)據(jù)集對(duì)多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后根據(jù)訓(xùn)練后的多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對(duì)道路場(chǎng)景圖像進(jìn)行目標(biāo)檢測(cè)和語(yǔ)義分割，由此，能夠通過(guò)訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)同時(shí)實(shí)現(xiàn)語(yǔ)義分割和目標(biāo)檢測(cè)兩個(gè)任務(wù)，從而能夠有效減道路場(chǎng)景識(shí)別的時(shí)間，以提高道路場(chǎng)景識(shí)別效率，并能夠節(jié)省顯存資源。

另外，根據(jù)本發(fā)明上述實(shí)施例提出的基于多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的道路場(chǎng)景識(shí)別方法還可以具有如下附加的技術(shù)特征：

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)包括主干網(wǎng)絡(luò)、語(yǔ)義分割網(wǎng)絡(luò)和目標(biāo)檢測(cè)網(wǎng)絡(luò)，其中，所述語(yǔ)義分割網(wǎng)絡(luò)和所述目標(biāo)檢測(cè)網(wǎng)絡(luò)分別與所述主干網(wǎng)絡(luò)相連。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述語(yǔ)義分割網(wǎng)絡(luò)包括第一卷積層、第二卷積層、第一激活層、歸一化層和上采樣層，其中，所述第一卷積層分別與所述主干網(wǎng)絡(luò)和所述第一激活層相連，所述第一激活層通過(guò)所述歸一化層連接到所述上采樣層，所述上采樣層與所述第二卷積層相連。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述目標(biāo)檢測(cè)網(wǎng)絡(luò)包括第三卷積層、第四卷積層、第五卷積層、第六卷積層、第二激活層、第三激活層和解碼層，其中，所述第三卷積層和所述第四卷積層分別與所述主干網(wǎng)絡(luò)相連，所述第五卷積層和所述第六卷積層分別與所述解碼層相連，所述第二激活層分別與所述第三卷積層和所述第五卷積層相連，所述第三激活層分別與所述第四卷積層和所述第六卷積層相連。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述主干網(wǎng)絡(luò)為CenterNet-DLA34。