[發(fā)明專利]模型訓(xùn)練方法、目標(biāo)檢測(cè)方法、裝置及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202310225316.X
• 申請(qǐng)日: 2023-03-01
• 公開(kāi)（公告）號(hào): CN116311123A
• 公開(kāi)（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 周雅玲
• 申請(qǐng)（專利權(quán)）人: 智道網(wǎng)聯(lián)科技（北京）有限公司
• 主分類號(hào): G06V20/56
• 分類號(hào): G06V20/56;G06V20/64;G06V10/40;G06V10/774;G06V10/82
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 唐正瑜

1.一種模型訓(xùn)練方法，其特征在于，所述方法包括：

通過(guò)初始模型對(duì)訓(xùn)練圖像進(jìn)行特征提取，得到特征數(shù)據(jù)；

通過(guò)所述初始模型基于所述特征數(shù)據(jù)進(jìn)行多分支預(yù)測(cè)，得到預(yù)測(cè)數(shù)據(jù)；

基于所述訓(xùn)練圖像對(duì)應(yīng)的真值數(shù)據(jù)和所述預(yù)測(cè)數(shù)據(jù)，對(duì)所述初始模型進(jìn)行調(diào)整，以得到檢測(cè)模型；

其中，所述真值數(shù)據(jù)包括：二維檢測(cè)數(shù)據(jù)、三維檢測(cè)數(shù)據(jù)和可行駛區(qū)域數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，其中，所述多分支包括檢測(cè)分支和分割分支，所述預(yù)測(cè)數(shù)據(jù)包括檢測(cè)預(yù)測(cè)數(shù)據(jù)和區(qū)域預(yù)測(cè)數(shù)據(jù)；

所述通過(guò)所述初始模型基于所述特征數(shù)據(jù)進(jìn)行多分支預(yù)測(cè)，得到預(yù)測(cè)數(shù)據(jù)，包括：

在所述檢測(cè)分支中，通過(guò)所述初始模型基于所述特征數(shù)據(jù)進(jìn)行多維的目標(biāo)檢測(cè)預(yù)測(cè)，得到所述檢測(cè)預(yù)測(cè)數(shù)據(jù)；

在所述分割分支中，通過(guò)所述初始模型基于所述特征數(shù)據(jù)進(jìn)行區(qū)域預(yù)測(cè)，得到所述區(qū)域預(yù)測(cè)數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，其中，所述檢測(cè)預(yù)測(cè)數(shù)據(jù)包括二維預(yù)測(cè)數(shù)據(jù)和三維預(yù)測(cè)數(shù)據(jù)；

所述通過(guò)所述初始模型基于所述特征數(shù)據(jù)進(jìn)行多維的目標(biāo)檢測(cè)預(yù)測(cè)，得到所述檢測(cè)預(yù)測(cè)數(shù)據(jù)，包括：

通過(guò)所述初始模型基于所述特征數(shù)據(jù)和語(yǔ)義信息進(jìn)行融合，得到多尺度特征數(shù)據(jù)；

確定所述真值數(shù)據(jù)中的所述二維檢測(cè)數(shù)據(jù)和所述三維檢測(cè)數(shù)據(jù)之間的轉(zhuǎn)換關(guān)系；

通過(guò)所述初始模型基于所述多尺度特征數(shù)據(jù)進(jìn)行識(shí)別，得到預(yù)測(cè)二維框；

通過(guò)所述初始模型根據(jù)所述預(yù)測(cè)二維框和所述轉(zhuǎn)換關(guān)系，確定預(yù)測(cè)三維框；

通過(guò)所述初始模型提取所述預(yù)測(cè)三維框中的關(guān)鍵點(diǎn)數(shù)據(jù)進(jìn)行計(jì)算，得到所述三維預(yù)測(cè)數(shù)據(jù)；

通過(guò)所述初始模型基于所述三維預(yù)測(cè)數(shù)據(jù)和所述轉(zhuǎn)換關(guān)系，確定所述二維預(yù)測(cè)數(shù)據(jù)。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述通過(guò)所述初始模型基于所述特征數(shù)據(jù)進(jìn)行區(qū)域預(yù)測(cè)，得到所述區(qū)域預(yù)測(cè)數(shù)據(jù)，包括：

通過(guò)所述初始模型對(duì)所述特征數(shù)據(jù)進(jìn)行上采樣處理，得到上采樣數(shù)據(jù)；

通過(guò)所述初始模型對(duì)所述上采樣數(shù)據(jù)的尺度進(jìn)行調(diào)整，得到調(diào)整數(shù)據(jù)；

通過(guò)所述初始模型基于所述調(diào)整數(shù)據(jù)的像素進(jìn)行識(shí)別，得到可行駛區(qū)域的所述區(qū)域預(yù)測(cè)數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述訓(xùn)練圖像對(duì)應(yīng)的真值數(shù)據(jù)和所述預(yù)測(cè)數(shù)據(jù)，對(duì)所述初始模型進(jìn)行調(diào)整，以得到檢測(cè)模型，包括：

將所述真值數(shù)據(jù)與所述預(yù)測(cè)數(shù)據(jù)進(jìn)行對(duì)比，得到對(duì)比差值；

若判定所述對(duì)比差值大于或等于預(yù)設(shè)閾值，則對(duì)所述初始模型中的分支預(yù)測(cè)參數(shù)進(jìn)行修改，得到修改模型；

通過(guò)修改模型對(duì)所述特征數(shù)據(jù)進(jìn)行多分支預(yù)測(cè)，得到修改預(yù)測(cè)數(shù)據(jù)；

將所述真值數(shù)據(jù)與所述修改預(yù)測(cè)數(shù)據(jù)進(jìn)行對(duì)比，得到修改對(duì)比差值，直至當(dāng)前的修改對(duì)比差值小于所述預(yù)設(shè)閾值，則以當(dāng)前的修改模型作為所述檢測(cè)模型。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述真值數(shù)據(jù)通過(guò)以下方式獲取：

將所述訓(xùn)練圖像中的二維檢測(cè)標(biāo)注和三維檢測(cè)標(biāo)注進(jìn)行合并，得到合并數(shù)據(jù)；

對(duì)所述合并數(shù)據(jù)進(jìn)行歸一化處理，得到所述二維檢測(cè)數(shù)據(jù)和所述三維檢測(cè)數(shù)據(jù)；

對(duì)所述訓(xùn)練圖像進(jìn)行色彩調(diào)整，得到所述可行駛區(qū)域數(shù)據(jù)。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)初始模型對(duì)訓(xùn)練圖像進(jìn)行特征提取，得到特征數(shù)據(jù)，包括：

在所述初始模型中，基于提取需求設(shè)置目標(biāo)編碼器；

通過(guò)所述目標(biāo)編碼器對(duì)所述訓(xùn)練圖像進(jìn)行特征提取，得到多分辨率的所述特征數(shù)據(jù)。

8.一種目標(biāo)檢測(cè)方法，其特征在于，所述方法包括：

將檢測(cè)圖像輸入所述檢測(cè)模型進(jìn)行多分支預(yù)測(cè)，得到初始預(yù)測(cè)數(shù)據(jù)；

對(duì)所述初始預(yù)測(cè)數(shù)據(jù)進(jìn)行篩選，得到目標(biāo)預(yù)測(cè)數(shù)據(jù)；

其中，所述檢測(cè)模型由權(quán)利要求1-7中任一項(xiàng)所述的模型訓(xùn)練方法確定。