[發(fā)明專利]基于面部朝向、面部表情及瞳孔追蹤的注意力檢測方法

在審

• 申請?zhí)枺?/td>: 202110310469.5
• 申請日: 2021-03-23
• 公開（公告）號: CN113052064A
• 公開（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 姜文強(qiáng);汪明浩;劉川賀
• 申請（專利權(quán)）人: 北京思圖場景數(shù)據(jù)科技服務(wù)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06T3/40;G06T3/60;G06T5/20;G06T5/30;G06T7/246;G06T7/80
• 代理公司: 成都頂峰專利事務(wù)所(普通合伙) 51224
• 代理人: 楊國瑞

本申請實(shí)施例提供了一種基于面部朝向、面部表情及瞳孔追蹤的注意力檢測方法，涉及風(fēng)險(xiǎn)評估技術(shù)領(lǐng)域，該方法包括提取出被評估者的人臉圖像；確定人臉圖像中的關(guān)鍵點(diǎn)坐標(biāo)；依據(jù)關(guān)鍵點(diǎn)坐標(biāo)、相機(jī)內(nèi)參數(shù)矩陣和相機(jī)畸變參數(shù)確定被評估者的面部朝向角度；提取出被評估者的眼部區(qū)域圖像；確定出被評估者的眼睛瞳孔位置；基于眼部區(qū)域圖像和眼睛瞳孔位置確定出瞳孔偏轉(zhuǎn)度參數(shù)；根據(jù)人臉圖像的各像素點(diǎn)的像素值確定出表征積極/消極程度的第一表情參數(shù)和表征清醒/困倦程度的第二表情參數(shù)；基于面部朝向角度、瞳孔偏轉(zhuǎn)度參數(shù)、第一表情參數(shù)和第二表情參數(shù)確定出與被評估者對應(yīng)的注意力參數(shù)。本申請實(shí)施例提供的方法能夠?qū)Ρ辉u估者的注意力進(jìn)行準(zhǔn)確評估。

技術(shù)領(lǐng)域

本文件涉及風(fēng)險(xiǎn)評估技術(shù)領(lǐng)域，尤其涉及一種基于面部朝向、面部表情及瞳孔追蹤的注意力檢測方法。

背景技術(shù)

注意力檢測常常被廣泛應(yīng)用于各個領(lǐng)域，如在交通駕駛過程中駕駛員的注意力檢測、教學(xué)過程中學(xué)生的注意力檢測以及刑偵審訊環(huán)節(jié)中用于欺詐行為識別的注意力檢測等。

目前，對于注意力的檢測大都是基于被檢測者面部朝向來進(jìn)行檢測分析的。然而，面部朝向僅能夠反映被檢測者關(guān)注某一事物的可能，往往并不能準(zhǔn)確反映被監(jiān)檢測的注意力。

因此，如何提供一種有效的方案以提高注意力檢測的準(zhǔn)確性，已成為現(xiàn)有技術(shù)中一亟待解決的問題。

發(fā)明內(nèi)容

本申請實(shí)施例提供一種基于面部朝向、面部表情及瞳孔追蹤的注意力檢測方法，用以解決現(xiàn)有技術(shù)存在的注意力檢測的準(zhǔn)確性低的問題。

為解決上述技術(shù)問題，本申請實(shí)施例是這樣實(shí)現(xiàn)的：

本申請實(shí)施例提供了一種基于面部朝向、面部表情及瞳孔追蹤的注意力檢測方法，包括：

獲取包含被評估者頭像的目標(biāo)圖像幀；

從所述目標(biāo)圖像幀中提取出所述被評估者的人臉圖像；

對所述人臉圖像的像素值進(jìn)行歸一化處理；

將歸一化處理后的所述人臉圖像的各像素點(diǎn)的像素值作為預(yù)先訓(xùn)練的人臉關(guān)鍵點(diǎn)檢測模型的輸入進(jìn)行運(yùn)算，得到所述人臉圖像中的多個關(guān)鍵點(diǎn)坐標(biāo)，所述多個關(guān)鍵點(diǎn)坐標(biāo)中包括眼部輪廓坐標(biāo)；

依據(jù)所述多個關(guān)鍵點(diǎn)坐標(biāo)、預(yù)置相機(jī)內(nèi)參數(shù)矩陣和預(yù)置相機(jī)畸變參數(shù)確定出所述被評估者的面部朝向角度；

基于所述眼部輪廓坐標(biāo)從所述人臉圖像中提取出所述被評估者的眼部區(qū)域圖像；

依據(jù)所述眼部區(qū)域圖像確定出所述被評估者的眼睛瞳孔位置；

基于所述眼部區(qū)域圖像和所述眼睛瞳孔位置確定出所述被評估者的瞳孔偏轉(zhuǎn)度參數(shù)；

將歸一化處理后的所述人臉圖像的各像素點(diǎn)的像素值作為預(yù)先訓(xùn)練的面部情緒識別模型的輸入進(jìn)行運(yùn)算，得到與所述被評估者對應(yīng)的第一表情參數(shù)和第二表情參數(shù)，所述第一表情參數(shù)表征所述被評估者的積極/消極程度，所述第二表情參數(shù)表征所述被評估者的清醒/困倦程度；

基于所述面部朝向角度、所述瞳孔偏轉(zhuǎn)度參數(shù)、所述第一表情參數(shù)和所述第二表情參數(shù)確定出與所述被評估者對應(yīng)的注意力參數(shù)，所述注意力參數(shù)表征所述被評估者的注意力集中程度。

可選的，所述目標(biāo)圖像幀的格式為RGB格式，所述從所述目標(biāo)圖像幀中提取出所述被評估者的人臉圖像，包括：

將所述目標(biāo)圖像幀的圖像通道順序轉(zhuǎn)換為RGB；

將圖像通道順序轉(zhuǎn)換為RGB后的所述目標(biāo)圖像幀縮放至第一指定尺寸；

將縮放至第一指定尺寸大小的所述目標(biāo)圖像幀進(jìn)行歸一化處理；

將歸一化處理的所述目標(biāo)圖像幀的各像素點(diǎn)的像素值所構(gòu)成的矩陣作為預(yù)先訓(xùn)練的人臉檢測模型的輸入進(jìn)行運(yùn)算，得到人臉邊界點(diǎn)坐標(biāo)；