[發(fā)明專利]頭部姿態(tài)角檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011592057.7
• 申請(qǐng)日: 2020-12-29
• 公開(kāi)（公告）號(hào): CN112668480B
• 公開(kāi)（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 孟照鐵;陳思乾;韋立慶;鐘虹;趙顯
• 申請(qǐng)（專利權(quán)）人: 上海高德威智能交通系統(tǒng)有限公司
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06V40/16;G06V10/80;G06V10/82;G06V20/59;G06N3/08
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 項(xiàng)京;丁蕓

1.一種頭部姿態(tài)角檢測(cè)方法，其特征在于，所述方法包括：

獲取待檢測(cè)圖像中目標(biāo)人員的人臉區(qū)域；

利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型的主干卷積網(wǎng)絡(luò)對(duì)所述人臉區(qū)域進(jìn)行特征提取，得到中間層特征及全局特征；

利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型的關(guān)鍵點(diǎn)熱力圖卷積網(wǎng)絡(luò)對(duì)所述全局特征進(jìn)行上采樣，得到上采樣特征；

利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型的關(guān)鍵點(diǎn)熱力圖卷積網(wǎng)絡(luò)對(duì)所述中間特征及所述上采樣特征進(jìn)行融合，得到多尺度融合特征；

利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型的關(guān)鍵點(diǎn)熱力圖卷積網(wǎng)絡(luò)對(duì)所述多尺度融合特征進(jìn)行分析，得到關(guān)鍵點(diǎn)熱力圖特征；

利用所述深度學(xué)習(xí)模型將所述全局特征及所述關(guān)鍵點(diǎn)熱力圖特征進(jìn)行拼接，得到姿態(tài)角預(yù)測(cè)特征；

利用所述深度學(xué)習(xí)模型對(duì)所述姿態(tài)角預(yù)測(cè)特征進(jìn)行分析，得到所述人臉區(qū)域?qū)?yīng)的頭部姿態(tài)角。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

根據(jù)所述目標(biāo)人員的頭部姿態(tài)角，計(jì)算當(dāng)前幀圖像采集時(shí)刻之前的第一預(yù)設(shè)時(shí)長(zhǎng)內(nèi)所述目標(biāo)人員頭部變化的最大角度；

在所述頭部變化的最大角度大于預(yù)設(shè)變化角度閾值、且當(dāng)前幀圖像中所述目標(biāo)人員的頭部姿態(tài)角大于預(yù)設(shè)姿態(tài)角閾值的情況下，則判定當(dāng)前幀圖像中所述目標(biāo)人員為分心狀態(tài)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

若在當(dāng)前幀圖像采集時(shí)刻之前的第二預(yù)設(shè)時(shí)長(zhǎng)內(nèi)，所述目標(biāo)人員為分心狀態(tài)的圖像的百分比大于預(yù)設(shè)百分比閾值，則生成表示所述目標(biāo)人員分心的報(bào)警信息。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述主干卷積網(wǎng)絡(luò)包括十個(gè)卷積層，每?jī)蓚€(gè)卷積層為一組，前四組卷積層后面均設(shè)置一個(gè)池化層，共四個(gè)池化層；所述關(guān)鍵點(diǎn)熱力圖卷積網(wǎng)絡(luò)包括反卷積層、特征拼接層、卷積層；

所述利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型的主干卷積網(wǎng)絡(luò)對(duì)所述人臉區(qū)域進(jìn)行特征提取，得到中間層特征及全局特征，包括：

利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型的主干卷積網(wǎng)絡(luò)對(duì)所述人臉區(qū)域進(jìn)行特征提取，從第四組卷積層后得到中間層特征，從第五組卷積層后全局特征；

所述利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型的關(guān)鍵點(diǎn)熱力圖卷積網(wǎng)絡(luò)對(duì)所述全局特征進(jìn)行上采樣，得到上采樣特征，包括：

利用所述關(guān)鍵點(diǎn)熱力圖卷積網(wǎng)絡(luò)的反卷積層對(duì)所述全局特征進(jìn)行上采樣，得到上采樣特征；

所述利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型的關(guān)鍵點(diǎn)熱力圖卷積網(wǎng)絡(luò)對(duì)所述中間特征及所述上采樣特征進(jìn)行融合，得到多尺度融合特征，包括：

利用所述關(guān)鍵點(diǎn)熱力圖卷積網(wǎng)絡(luò)的特征拼接層對(duì)所述中間特征及所述上采樣特征進(jìn)行融合，得到多尺度融合特征；

所述利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型的關(guān)鍵點(diǎn)熱力圖卷積網(wǎng)絡(luò)對(duì)所述多尺度融合特征進(jìn)行分析，得到關(guān)鍵點(diǎn)熱力圖特征，包括：

利用所述關(guān)鍵點(diǎn)熱力圖卷積網(wǎng)絡(luò)的卷積層對(duì)所述多尺度融合特征進(jìn)行分析，得到關(guān)鍵點(diǎn)熱力圖特征。

5.根據(jù)權(quán)利要求1-4任一所述的方法，其特征在于，預(yù)先訓(xùn)練所述深度學(xué)習(xí)模型的步驟包括：

在樣本人臉區(qū)域集中選取一樣本人臉區(qū)域，其中，所述樣本人臉區(qū)域標(biāo)注有真值關(guān)鍵點(diǎn)熱力圖特征及真值頭部姿態(tài)角；

將當(dāng)前選取的樣本人臉區(qū)域輸入到深度學(xué)習(xí)模型中進(jìn)行分析，得到預(yù)測(cè)關(guān)鍵點(diǎn)熱力圖特征及預(yù)測(cè)頭部姿態(tài)角；

根據(jù)當(dāng)前選取的樣本人臉區(qū)域的預(yù)測(cè)關(guān)鍵點(diǎn)熱力圖特征、真值關(guān)鍵點(diǎn)熱力圖特征、預(yù)測(cè)頭部姿態(tài)角及真值頭部姿態(tài)角計(jì)算深度學(xué)習(xí)模型的損失；

根據(jù)深度學(xué)習(xí)模型的損失，調(diào)整深度學(xué)習(xí)模型的訓(xùn)練參數(shù)，返回執(zhí)行步驟：在樣本人臉區(qū)域集中選取一樣本人臉區(qū)域，直至滿足預(yù)設(shè)訓(xùn)練結(jié)束條件，得到訓(xùn)練好的深度學(xué)習(xí)模型。