[發(fā)明專利]訓(xùn)練多任務(wù)目標(biāo)檢測(cè)模型、多任務(wù)目標(biāo)檢測(cè)的方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010005916.1
• 申請(qǐng)日: 2020-01-03
• 公開(kāi)（公告）號(hào): CN111222454B
• 公開(kāi)（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 鄭文勇;葉佳全;陳添水
• 申請(qǐng)（專利權(quán)）人: 暗物智能科技(廣州)有限公司
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V40/10;G06V40/20;G06V10/25;G06V10/774
• 代理公司: 北京三聚陽(yáng)光知識(shí)產(chǎn)權(quán)代理有限公司 11250
• 代理人: 李紅團(tuán)

1.一種訓(xùn)練多任務(wù)目標(biāo)檢測(cè)模型的方法，其特征在于，包括如下步驟：

利用標(biāo)注好邊框和對(duì)應(yīng)目標(biāo)類型標(biāo)簽的訓(xùn)練數(shù)據(jù)集及對(duì)主干網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的主干網(wǎng)絡(luò)；

利用訓(xùn)練好的主干網(wǎng)絡(luò)作為檢測(cè)模型的基礎(chǔ)網(wǎng)絡(luò)，利用圖片的多尺度特征圖、標(biāo)注邊界框以及對(duì)應(yīng)目標(biāo)類型標(biāo)簽對(duì)檢測(cè)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的檢測(cè)枝干，同時(shí)微調(diào)主干網(wǎng)絡(luò)；

利用微調(diào)后的主干網(wǎng)絡(luò)提取訓(xùn)練數(shù)據(jù)集的全圖特征，使用目標(biāo)對(duì)象特征提取模塊結(jié)合標(biāo)注的真實(shí)邊界框在全圖特征上提取目標(biāo)對(duì)象特征圖；

針對(duì)不同檢測(cè)任務(wù)，分別設(shè)置輕量化的深度卷積網(wǎng)絡(luò)作為任務(wù)模塊，利用所述目標(biāo)對(duì)象特征圖以及標(biāo)注好的對(duì)應(yīng)不同任務(wù)不同目標(biāo)的分類標(biāo)簽，依次訓(xùn)練不同任務(wù)模塊，得到訓(xùn)練好的任務(wù)模塊；

將所述訓(xùn)練好的主干網(wǎng)絡(luò)、檢測(cè)枝干及任務(wù)模塊組成所述多任務(wù)目標(biāo)檢測(cè)模型。

2.根據(jù)權(quán)利要求1所述的訓(xùn)練多任務(wù)目標(biāo)檢測(cè)模型的方法，其特征在于，若圖片中出現(xiàn)多個(gè)不同目標(biāo)對(duì)象，則對(duì)圖片進(jìn)行拷貝，拷貝次數(shù)等于圖片中出現(xiàn)的目標(biāo)類型個(gè)數(shù)，拷貝后的每張圖片分別標(biāo)注不同目標(biāo)類型標(biāo)簽，全部用于主干網(wǎng)絡(luò)的訓(xùn)練。

3.根據(jù)權(quán)利要求1所述的訓(xùn)練多任務(wù)目標(biāo)檢測(cè)模型的方法，其特征在于，根據(jù)訓(xùn)練數(shù)據(jù)集標(biāo)注的邊界框與圖片大小的關(guān)系設(shè)置不同尺度特征圖使用的錨框，將標(biāo)注好邊界框和對(duì)應(yīng)目標(biāo)類型標(biāo)簽的訓(xùn)練數(shù)據(jù)集輸入到訓(xùn)練好的主干網(wǎng)絡(luò)中得到圖片的多尺度特征圖。

4.根據(jù)權(quán)利要求1所述的訓(xùn)練多任務(wù)目標(biāo)檢測(cè)模型的方法，其特征在于，所述利用標(biāo)注好邊框和對(duì)應(yīng)目標(biāo)類型標(biāo)簽的訓(xùn)練數(shù)據(jù)集及對(duì)主干網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的主干網(wǎng)絡(luò)的步驟之前，還包括：

獲取多任務(wù)目標(biāo)檢測(cè)任務(wù)中需要進(jìn)行檢測(cè)的目標(biāo)對(duì)象，針對(duì)不同的檢測(cè)對(duì)象標(biāo)注不同的目標(biāo)類別標(biāo)簽，并定義標(biāo)注規(guī)則；

在圖片集上使用邊界框標(biāo)注所有任務(wù)關(guān)注的目標(biāo)對(duì)象，標(biāo)記對(duì)應(yīng)的目標(biāo)類型標(biāo)簽。

5.根據(jù)權(quán)利要求1所述的訓(xùn)練多任務(wù)目標(biāo)檢測(cè)模型的方法，其特征在于，檢測(cè)的目標(biāo)對(duì)象包括：人物頭部和手部，檢測(cè)任務(wù)包括：人物的表情、頭部朝向以及手勢(shì)姿態(tài)。

6.根據(jù)權(quán)利要求5所述的訓(xùn)練多任務(wù)目標(biāo)檢測(cè)模型的方法，其特征在于，

表情識(shí)別任務(wù)的分類標(biāo)簽包括平靜、開(kāi)心、生氣、傷心；頭部朝向識(shí)別任務(wù)的分類標(biāo)簽包含正對(duì)、抬頭、低頭、左轉(zhuǎn)、右轉(zhuǎn)；手勢(shì)姿態(tài)的分類標(biāo)簽包含五指張開(kāi)、握拳及其他。

7.一種多任務(wù)目標(biāo)檢測(cè)的方法，其特征在于，包括：

獲取待進(jìn)行目標(biāo)檢測(cè)的圖片；

將所述待進(jìn)行目標(biāo)檢測(cè)的圖片輸入根據(jù)權(quán)利要求1-6任一所述訓(xùn)練多任務(wù)目標(biāo)檢測(cè)模型的方法得到的多任務(wù)目標(biāo)檢測(cè)模型中，檢測(cè)并識(shí)別圖片中的目標(biāo)對(duì)象。

8.根據(jù)權(quán)利要求7所述多任務(wù)目標(biāo)檢測(cè)的方法，其特征在于，

檢測(cè)的目標(biāo)對(duì)象包括人物頭部和手部，檢測(cè)任務(wù)包括人物的表情、頭部朝向以及手勢(shì)姿態(tài)。

9.根據(jù)權(quán)利要求8所述多任務(wù)目標(biāo)檢測(cè)的方法，其特征在于，

將待進(jìn)行多任務(wù)目標(biāo)檢測(cè)的圖片輸入主干網(wǎng)絡(luò)提取圖片的多尺度特征圖，并選擇對(duì)分類結(jié)果貢獻(xiàn)最高的特征圖作為全圖特征；

利用檢測(cè)干支對(duì)所述多尺度特征圖進(jìn)行回歸，預(yù)測(cè)目標(biāo)對(duì)象的位置；

根據(jù)預(yù)測(cè)目標(biāo)對(duì)象的位置信息，在全圖特征上將目標(biāo)對(duì)象的特征圖截取出來(lái)，并縮放到預(yù)設(shè)尺寸；

利用任務(wù)模塊對(duì)目標(biāo)對(duì)象特征圖進(jìn)行分類，識(shí)別人物的表情、頭部朝向以及手勢(shì)姿態(tài)。