[發(fā)明專利]頭部姿態(tài)角檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011592057.7
• 申請(qǐng)日: 2020-12-29
• 公開(kāi)（公告）號(hào): CN112668480B
• 公開(kāi)（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 孟照鐵;陳思乾;韋立慶;鐘虹;趙顯
• 申請(qǐng)（專利權(quán)）人: 上海高德威智能交通系統(tǒng)有限公司
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06V40/16;G06V10/80;G06V10/82;G06V20/59;G06N3/08
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 項(xiàng)京;丁蕓

本申請(qǐng)實(shí)施例提供了頭部姿態(tài)角檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，獲取待檢測(cè)圖像中目標(biāo)人員的人臉區(qū)域；利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型對(duì)人臉區(qū)域進(jìn)行特征提取，得到人臉區(qū)域的全局特征及關(guān)鍵點(diǎn)熱力圖特征；利用深度學(xué)習(xí)模型將全局特征及關(guān)鍵點(diǎn)熱力圖特征進(jìn)行拼接，得到姿態(tài)角預(yù)測(cè)特征；利用深度學(xué)習(xí)模型對(duì)姿態(tài)角預(yù)測(cè)特征進(jìn)行分析，得到人臉區(qū)域?qū)?yīng)的頭部姿態(tài)角。在考慮了人臉關(guān)鍵點(diǎn)的基礎(chǔ)上，還考慮了人臉的全局特征，能夠提高關(guān)鍵點(diǎn)定位不準(zhǔn)確時(shí)，頭部姿態(tài)角的檢測(cè)精度；在目標(biāo)人員大幅度轉(zhuǎn)頭、低頭等時(shí)關(guān)鍵點(diǎn)漂移的情況下，提升了頭部姿態(tài)角的檢測(cè)精度，并且適用于目標(biāo)人員佩戴口罩的情況。

技術(shù)領(lǐng)域

本申請(qǐng)涉及圖像處理技術(shù)領(lǐng)域，特別是涉及頭部姿態(tài)角檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，基于監(jiān)控視頻的智能交通成為可能。為了更好的監(jiān)督和規(guī)范駕駛員的行為，減少因駕駛員注意力分散造成的交通意外，駕駛員監(jiān)控受到越來(lái)越廣泛的關(guān)注。駕駛員監(jiān)控中一個(gè)核心的功能便是對(duì)駕駛員分心狀態(tài)進(jìn)行檢測(cè)，即通過(guò)對(duì)駕駛員頭部姿態(tài)角進(jìn)行檢測(cè)，進(jìn)而確定駕駛員是否分心。

相關(guān)技術(shù)中，在對(duì)駕駛員的頭部姿態(tài)角的進(jìn)行檢測(cè)時(shí)，首先利用計(jì)算機(jī)視覺(jué)技術(shù)對(duì)包含檢測(cè)駕駛員人臉的圖像進(jìn)行人臉關(guān)鍵點(diǎn)檢測(cè)，得到人臉關(guān)鍵點(diǎn)，然后利用預(yù)先得到的2D關(guān)鍵點(diǎn)到3D人臉模型，將2D的人臉關(guān)鍵點(diǎn)轉(zhuǎn)換為3D的人臉模型，從而基于3D人臉模型得到駕駛員的頭部姿態(tài)角。

但是使用上述方法，過(guò)于依賴關(guān)鍵點(diǎn)定位精度，例如，在大幅度轉(zhuǎn)頭、低頭等動(dòng)作時(shí)，關(guān)鍵點(diǎn)容易出現(xiàn)漂移，而關(guān)鍵點(diǎn)檢測(cè)不準(zhǔn)確會(huì)嚴(yán)重影響頭部姿態(tài)角的檢測(cè)精度，尤其是在駕駛員佩戴口罩時(shí)，會(huì)存在關(guān)鍵點(diǎn)檢測(cè)準(zhǔn)確度偏低甚至無(wú)法檢測(cè)到關(guān)鍵點(diǎn)的情況，造成頭部姿態(tài)角檢測(cè)近乎失效。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例的目的在于提供一種頭部姿態(tài)角檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，以實(shí)現(xiàn)提高頭部姿態(tài)角的檢測(cè)精度。具體技術(shù)方案如下：

第一方面，本申請(qǐng)實(shí)施例提供了一種頭部姿態(tài)角檢測(cè)方法，所述方法包括：

獲取待檢測(cè)圖像中目標(biāo)人員的人臉區(qū)域；

利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型對(duì)所述人臉區(qū)域進(jìn)行特征提取，得到所述人臉區(qū)域的全局特征及關(guān)鍵點(diǎn)熱力圖特征；

利用所述深度學(xué)習(xí)模型將所述全局特征及所述關(guān)鍵點(diǎn)熱力圖特征進(jìn)行拼接，得到姿態(tài)角預(yù)測(cè)特征；

利用所述深度學(xué)習(xí)模型對(duì)所述姿態(tài)角預(yù)測(cè)特征進(jìn)行分析，得到所述人臉區(qū)域?qū)?yīng)的頭部姿態(tài)角。

在一種可能的實(shí)施方式中，所述方法還包括：

根據(jù)所述目標(biāo)人員的頭部姿態(tài)角，計(jì)算當(dāng)前幀圖像采集時(shí)刻之前的第一預(yù)設(shè)時(shí)長(zhǎng)內(nèi)所述目標(biāo)人員頭部變化的最大角度；

在所述頭部變化的最大角度大于預(yù)設(shè)變化角度閾值、且當(dāng)前幀圖像中所述目標(biāo)人員的頭部姿態(tài)角大于預(yù)設(shè)姿態(tài)角閾值的情況下，則判定當(dāng)前幀圖像中所述目標(biāo)人員為分心狀態(tài)。

在一種可能的實(shí)施方式中，所述方法還包括：

若在當(dāng)前幀圖像采集時(shí)刻之前的第二預(yù)設(shè)時(shí)長(zhǎng)內(nèi)，所述目標(biāo)人員為分心狀態(tài)的圖像的百分比大于預(yù)設(shè)百分比閾值，則生成表示所述目標(biāo)人員分心的報(bào)警信息。

在一種可能的實(shí)施方式中，所述利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型對(duì)所述人臉區(qū)域進(jìn)行特征提取，得到所述人臉區(qū)域的全局特征及關(guān)鍵點(diǎn)熱力圖特征，包括：

利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型的主干卷積網(wǎng)絡(luò)對(duì)所述人臉區(qū)域進(jìn)行特征提取，得到中間層特征及全局特征；

利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型的關(guān)鍵點(diǎn)熱力圖卷積網(wǎng)絡(luò)對(duì)所述全局特征進(jìn)行上采樣，得到上采樣特征；

利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型的關(guān)鍵點(diǎn)熱力圖卷積網(wǎng)絡(luò)對(duì)所述中間特征及所述上采樣特征進(jìn)行融合，得到多尺度融合特征；