[發(fā)明專利]模型訓(xùn)練方法、目標(biāo)檢測(cè)方法、裝置及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202310225316.X
• 申請(qǐng)日: 2023-03-01
• 公開(kāi)（公告）號(hào): CN116311123A
• 公開(kāi)（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 周雅玲
• 申請(qǐng)（專利權(quán)）人: 智道網(wǎng)聯(lián)科技（北京）有限公司
• 主分類號(hào): G06V20/56
• 分類號(hào): G06V20/56;G06V20/64;G06V10/40;G06V10/774;G06V10/82
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 唐正瑜

本申請(qǐng)?zhí)峁┮环N模型訓(xùn)練方法、目標(biāo)檢測(cè)方法、裝置及電子設(shè)備，涉及駕駛檢測(cè)技術(shù)領(lǐng)域。模型訓(xùn)練方法包括：通過(guò)初始模型對(duì)訓(xùn)練圖像進(jìn)行特征提取，得到特征數(shù)據(jù)；通過(guò)初始模型基于特征數(shù)據(jù)進(jìn)行多分支預(yù)測(cè)，得到預(yù)測(cè)數(shù)據(jù)；基于訓(xùn)練圖像對(duì)應(yīng)的真值數(shù)據(jù)和預(yù)測(cè)數(shù)據(jù)，對(duì)初始模型進(jìn)行調(diào)整，以得到檢測(cè)模型；其中，真值數(shù)據(jù)包括：二維檢測(cè)數(shù)據(jù)、三維檢測(cè)數(shù)據(jù)和可行駛區(qū)域數(shù)據(jù)。目標(biāo)檢測(cè)方法包括：將檢測(cè)圖像輸入檢測(cè)模型進(jìn)行多分支預(yù)測(cè)，得到初始預(yù)測(cè)數(shù)據(jù)；對(duì)初始預(yù)測(cè)數(shù)據(jù)進(jìn)行篩選，得到目標(biāo)預(yù)測(cè)數(shù)據(jù)；其中，檢測(cè)模型由模型訓(xùn)練方法確定。本申請(qǐng)能夠在訓(xùn)練得到的檢測(cè)模型中，直接通過(guò)圖像數(shù)據(jù)進(jìn)行二維和三維聯(lián)合的目標(biāo)檢測(cè)，提高了目標(biāo)檢測(cè)的效率和時(shí)效性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及駕駛檢測(cè)技術(shù)領(lǐng)域，具體而言，涉及一種模型訓(xùn)練方法、目標(biāo)檢測(cè)方法、裝置及電子設(shè)備。

背景技術(shù)

自動(dòng)駕駛系統(tǒng)中通常會(huì)涉及2D目標(biāo)檢測(cè)、可行駛區(qū)域分割和3D目標(biāo)檢測(cè)等多種任務(wù)，這些任務(wù)都需要對(duì)應(yīng)的方法來(lái)處理。

由于各種檢測(cè)方式原理的區(qū)別以及網(wǎng)絡(luò)不通用等原因，現(xiàn)有的自動(dòng)駕駛多任務(wù)方法主要是針對(duì)2D目標(biāo)檢測(cè)、可行駛區(qū)域以及車道線等分別進(jìn)行單獨(dú)地處理，并且進(jìn)行單目3D目標(biāo)檢測(cè)去優(yōu)化目標(biāo)的定位，通過(guò)分別單獨(dú)處理的方式完成多種任務(wù)，而這種方式需要更多資源，導(dǎo)致任務(wù)處理時(shí)的耗時(shí)增加，從而導(dǎo)致目標(biāo)檢測(cè)時(shí)的檢測(cè)效率和時(shí)效性較低。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)實(shí)施例的目的在于提供一種模型訓(xùn)練方法、目標(biāo)檢測(cè)方法、裝置及電子設(shè)備，以改善現(xiàn)有技術(shù)中存在的對(duì)目標(biāo)進(jìn)行檢測(cè)的檢測(cè)效率較低的問(wèn)題。

為了解決上述問(wèn)題，第一方面，本申請(qǐng)實(shí)施例提供了一種模型訓(xùn)練方法，所述方法包括：

通過(guò)初始模型對(duì)訓(xùn)練圖像進(jìn)行特征提取，得到特征數(shù)據(jù)；

通過(guò)所述初始模型基于所述特征數(shù)據(jù)進(jìn)行多分支預(yù)測(cè)，得到預(yù)測(cè)數(shù)據(jù)；

基于所述訓(xùn)練圖像對(duì)應(yīng)的真值數(shù)據(jù)和所述預(yù)測(cè)數(shù)據(jù)，對(duì)所述初始模型進(jìn)行調(diào)整，以得到檢測(cè)模型；

其中，所述真值數(shù)據(jù)包括：二維檢測(cè)數(shù)據(jù)、三維檢測(cè)數(shù)據(jù)和可行駛區(qū)域數(shù)據(jù)。

在上述實(shí)現(xiàn)過(guò)程中，在對(duì)檢測(cè)的初始模型進(jìn)行訓(xùn)練時(shí)，可以先對(duì)訓(xùn)練圖像進(jìn)行特征提取，從而在特征數(shù)據(jù)的基礎(chǔ)上，進(jìn)行多個(gè)預(yù)測(cè)分支的感知處理，能夠?qū)ΧS目標(biāo)、三維目標(biāo)以及可行駛區(qū)域等多個(gè)分支進(jìn)行同時(shí)預(yù)測(cè)處理，得到相應(yīng)的預(yù)測(cè)數(shù)據(jù)。再結(jié)合訓(xùn)練圖像對(duì)應(yīng)的真值數(shù)據(jù)和預(yù)測(cè)數(shù)據(jù)確定初始模型的預(yù)測(cè)效果，能夠在預(yù)測(cè)效果不佳時(shí)，及時(shí)地根據(jù)兩種數(shù)據(jù)的相差情況對(duì)初始模型進(jìn)行調(diào)整，以得到預(yù)測(cè)效果較高的檢測(cè)模型。能夠同時(shí)對(duì)多個(gè)預(yù)測(cè)分支進(jìn)行預(yù)測(cè)處理，有效地提高了目標(biāo)檢測(cè)時(shí)的效率和時(shí)效性，還能夠?qū)δＰ偷念A(yù)測(cè)效果進(jìn)行實(shí)時(shí)地調(diào)整，有效地提高了得到的檢測(cè)模型的訓(xùn)練效果，從而提高了目標(biāo)檢測(cè)時(shí)的準(zhǔn)確性。

可選地，其中，所述多分支包括檢測(cè)分支和分割分支，所述預(yù)測(cè)數(shù)據(jù)包括檢測(cè)預(yù)測(cè)數(shù)據(jù)和區(qū)域預(yù)測(cè)數(shù)據(jù)；

所述通過(guò)所述初始模型基于所述特征數(shù)據(jù)進(jìn)行多分支預(yù)測(cè)，得到預(yù)測(cè)數(shù)據(jù)，包括：

在所述檢測(cè)分支中，通過(guò)所述初始模型基于所述特征數(shù)據(jù)進(jìn)行多維的目標(biāo)檢測(cè)預(yù)測(cè)，得到所述檢測(cè)預(yù)測(cè)數(shù)據(jù)；

在所述分割分支中，通過(guò)所述初始模型基于所述特征數(shù)據(jù)進(jìn)行區(qū)域預(yù)測(cè)，得到所述區(qū)域預(yù)測(cè)數(shù)據(jù)。

在上述實(shí)現(xiàn)過(guò)程中，多個(gè)預(yù)測(cè)分支分別包括對(duì)目標(biāo)進(jìn)行檢測(cè)的檢測(cè)分支和對(duì)區(qū)域進(jìn)行分支的分割分支，在對(duì)目標(biāo)檢測(cè)進(jìn)行預(yù)測(cè)時(shí)，初始模型能夠基于特征數(shù)據(jù)，進(jìn)行多個(gè)維度的聯(lián)合目標(biāo)檢測(cè)預(yù)測(cè)，無(wú)需分別進(jìn)行二維目標(biāo)檢測(cè)和三維目標(biāo)檢測(cè)，并結(jié)合對(duì)可行駛區(qū)域進(jìn)行的分割預(yù)測(cè)得到的區(qū)域預(yù)測(cè)數(shù)據(jù)，得到相應(yīng)的對(duì)區(qū)域和目標(biāo)進(jìn)行預(yù)測(cè)的預(yù)測(cè)數(shù)據(jù)。能夠?qū)⒍S目標(biāo)預(yù)測(cè)與三維目標(biāo)預(yù)測(cè)進(jìn)行結(jié)合預(yù)測(cè)，有效地減少了模型的計(jì)算成本和預(yù)測(cè)時(shí)間，提高了模型執(zhí)行每個(gè)任務(wù)時(shí)的性能，提升了模型的泛化性，從而提升了預(yù)測(cè)數(shù)據(jù)的獲取效率和時(shí)效性。