[發(fā)明專利]目標(biāo)檢測(cè)和區(qū)域分割方法、裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710637883.0
• 申請(qǐng)日: 2017-07-31
• 公開(kāi)（公告）號(hào): CN109325385A
• 公開(kāi)（公告）日: 2019-02-12
• 發(fā)明（設(shè)計(jì)）人: 鄒進(jìn)屹;鐘誠(chéng);王剛;劉殿超
• 申請(qǐng)（專利權(quán)）人: 株式會(huì)社理光
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/34;G06N3/08
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 張曉明

本公開(kāi)涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的多任務(wù)目標(biāo)檢測(cè)和區(qū)域分割方法、裝置以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。所述基于卷積神經(jīng)網(wǎng)絡(luò)的多任務(wù)目標(biāo)檢測(cè)和區(qū)域分割方法，包括：基于輸入的圖像，由基本卷積網(wǎng)絡(luò)獲取基本卷積特征；基于所述基本卷積特征，由目標(biāo)檢測(cè)網(wǎng)絡(luò)輸出目標(biāo)檢測(cè)結(jié)果；以及基于所述基本卷積特征，由區(qū)域分割網(wǎng)絡(luò)輸出區(qū)域分割結(jié)果。

技術(shù)領(lǐng)域

本公開(kāi)涉及圖像處理領(lǐng)域，更具體地，本公開(kāi)涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的多任務(wù)目標(biāo)檢測(cè)和區(qū)域分割方法和裝置、以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

在基于人工智能的高級(jí)駕駛員輔助系統(tǒng)(ADAS)中，車道檢測(cè)和路面檢測(cè)是重要的組成部分。通過(guò)道路的車道檢測(cè)和路面檢測(cè)，可以實(shí)現(xiàn)ADAS的多種應(yīng)用功能，諸如車道偏離警告、自適應(yīng)巡航控制和自動(dòng)緊急制動(dòng)等。神經(jīng)網(wǎng)絡(luò)是一種大規(guī)模、多參數(shù)優(yōu)化的工具。依靠大量的訓(xùn)練數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)出數(shù)據(jù)中難以總結(jié)的隱藏特征，從而完成多項(xiàng)復(fù)雜的任務(wù)，如人臉檢測(cè)、圖片分類、物體檢測(cè)、動(dòng)作追蹤、自然語(yǔ)言翻譯等。神經(jīng)網(wǎng)絡(luò)已被人工智能界廣泛應(yīng)用。基于神經(jīng)網(wǎng)絡(luò)的視覺(jué)識(shí)別方案已經(jīng)被用于實(shí)現(xiàn)上述ADAS中的車道檢測(cè)和路面檢測(cè)。

然而，在基于神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)車道檢測(cè)和路面檢測(cè)的方案中，通常需要訓(xùn)練分別用于實(shí)現(xiàn)車道檢測(cè)和路面檢測(cè)的不同的神經(jīng)網(wǎng)絡(luò)，并且在實(shí)際檢測(cè)過(guò)程中也需要不同的神經(jīng)網(wǎng)絡(luò)分別執(zhí)行車道檢測(cè)和路面檢測(cè)過(guò)程。如此，將導(dǎo)致復(fù)雜的訓(xùn)練和檢測(cè)過(guò)程，增加了系統(tǒng)的復(fù)雜性和開(kāi)銷。

發(fā)明內(nèi)容

鑒于上述問(wèn)題，本公開(kāi)提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的多任務(wù)目標(biāo)檢測(cè)和區(qū)域分割方法和裝置、以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

根據(jù)本公開(kāi)的一個(gè)實(shí)施例，提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的多任務(wù)目標(biāo)檢測(cè)和區(qū)域分割方法，包括：基于輸入的圖像，由基本卷積網(wǎng)絡(luò)獲取基本卷積特征；基于所述基本卷積特征，由目標(biāo)檢測(cè)網(wǎng)絡(luò)輸出目標(biāo)檢測(cè)結(jié)果；以及基于所述基本卷積特征，由區(qū)域分割網(wǎng)絡(luò)輸出區(qū)域分割結(jié)果。

此外，根據(jù)本公開(kāi)的一個(gè)實(shí)施例的多任務(wù)目標(biāo)檢測(cè)和區(qū)域分割方法，其中，所述目標(biāo)檢測(cè)網(wǎng)絡(luò)包括區(qū)域建議子網(wǎng)絡(luò)和目標(biāo)檢測(cè)子網(wǎng)絡(luò)，所述基于所述基本卷積特征，由目標(biāo)檢測(cè)網(wǎng)絡(luò)輸出目標(biāo)檢測(cè)結(jié)果包括：基于所述基本卷積特征，由所述區(qū)域建議子網(wǎng)絡(luò)獲取候選目標(biāo)區(qū)域；以及基于所述基本卷積特征，由所述目標(biāo)檢測(cè)子網(wǎng)絡(luò)在所述候選目標(biāo)區(qū)域中檢測(cè)目標(biāo)，并且輸出所述目標(biāo)檢測(cè)結(jié)果。

此外，根據(jù)本公開(kāi)的一個(gè)實(shí)施例的多任務(wù)目標(biāo)檢測(cè)和區(qū)域分割方法，其中，所述區(qū)域分割網(wǎng)絡(luò)是全卷積網(wǎng)絡(luò)，所述基于所述基本卷積特征，由區(qū)域分割網(wǎng)絡(luò)輸出區(qū)域分割結(jié)果包括：基于所述基本卷積特征，生成代表每個(gè)像素點(diǎn)所屬類別的熱力圖；以及對(duì)所述熱力圖執(zhí)行上采樣，生成指示所述輸入的圖像中不同區(qū)域的所述區(qū)域分割結(jié)果。

此外，根據(jù)本公開(kāi)的一個(gè)實(shí)施例的多任務(wù)目標(biāo)檢測(cè)和區(qū)域分割方法，還包括：預(yù)先訓(xùn)練所述目標(biāo)檢測(cè)網(wǎng)絡(luò)和所述區(qū)域分割網(wǎng)絡(luò)，其中，所述預(yù)先訓(xùn)練所述目標(biāo)檢測(cè)網(wǎng)絡(luò)和所述區(qū)域分割網(wǎng)絡(luò)包括：獲取標(biāo)注有訓(xùn)練目標(biāo)和訓(xùn)練區(qū)域的圖像；同時(shí)訓(xùn)練所述目標(biāo)檢測(cè)網(wǎng)絡(luò)和所述區(qū)域分割網(wǎng)絡(luò)，調(diào)整網(wǎng)絡(luò)參數(shù)，直到整體損失函數(shù)滿足收斂條件，其中，所述整體損失函數(shù)是所述目標(biāo)檢測(cè)網(wǎng)絡(luò)和所述區(qū)域分割網(wǎng)絡(luò)各自的損失函數(shù)的加權(quán)和。

此外，根據(jù)本公開(kāi)的一個(gè)實(shí)施例的多任務(wù)目標(biāo)檢測(cè)和區(qū)域分割方法，還包括：通過(guò)共享基本卷積特征，同時(shí)獲取并且融合所述目標(biāo)檢測(cè)結(jié)果和所述區(qū)域分割結(jié)果。

根據(jù)本公開(kāi)的另一個(gè)實(shí)施例，提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的多任務(wù)目標(biāo)檢測(cè)和區(qū)域分割裝置，包括：基本卷積網(wǎng)絡(luò)單元，用于基于輸入的圖像，獲取基本卷積特征；目標(biāo)檢測(cè)網(wǎng)絡(luò)單元，用于基于所述基本卷積特征，輸出目標(biāo)檢測(cè)結(jié)果；以及區(qū)域分割網(wǎng)絡(luò)單元，用于基于所述基本卷積特征，輸出區(qū)域分割結(jié)果。