[發明專利]基于面部朝向、面部表情及瞳孔追蹤的注意力檢測方法

在審

• 申請號: 202110310469.5
• 申請日: 2021-03-23
• 公開（公告）號: CN113052064A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 姜文強;汪明浩;劉川賀
• 申請（專利權）人: 北京思圖場景數據科技服務有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06T3/40;G06T3/60;G06T5/20;G06T5/30;G06T7/246;G06T7/80
• 代理公司: 成都頂峰專利事務所(普通合伙) 51224
• 代理人: 楊國瑞

1.一種基于面部朝向、面部表情及瞳孔追蹤的注意力檢測方法，其特征在于，包括：

獲取包含被評估者頭像的目標圖像幀；

從所述目標圖像幀中提取出所述被評估者的人臉圖像；

對所述人臉圖像的像素值進行歸一化處理；

將歸一化處理后的所述人臉圖像的各像素點的像素值作為預先訓練的人臉關鍵點檢測模型的輸入進行運算，得到所述人臉圖像中的多個關鍵點坐標，所述多個關鍵點坐標中包括眼部輪廓坐標；

依據所述多個關鍵點坐標、預置相機內參數矩陣和預置相機畸變參數確定出所述被評估者的面部朝向角度；

基于所述眼部輪廓坐標從所述人臉圖像中提取出所述被評估者的眼部區域圖像；

依據所述眼部區域圖像確定出所述被評估者的眼睛瞳孔位置；

基于所述眼部區域圖像和所述眼睛瞳孔位置確定出所述被評估者的瞳孔偏轉度參數；

將歸一化處理后的所述人臉圖像的各像素點的像素值作為預先訓練的面部情緒識別模型的輸入進行運算，得到與所述被評估者對應的第一表情參數和第二表情參數，所述第一表情參數表征所述被評估者的積極/消極程度，所述第二表情參數表征所述被評估者的清醒/困倦程度；

基于所述面部朝向角度、所述瞳孔偏轉度參數、所述第一表情參數和所述第二表情參數確定出與所述被評估者對應的注意力參數，所述注意力參數表征所述被評估者的注意力集中程度。

2.根據權利要求1所述的方法，其特征在于，所述目標圖像幀的格式為RGB格式，所述從所述目標圖像幀中提取出所述被評估者的人臉圖像，包括：

將所述目標圖像幀的圖像通道順序轉換為RGB；

將圖像通道順序轉換為RGB后的所述目標圖像幀縮放至第一指定尺寸；

將縮放至第一指定尺寸大小的所述目標圖像幀進行歸一化處理；

將歸一化處理的所述目標圖像幀的各像素點的像素值所構成的矩陣作為預先訓練的人臉檢測模型的輸入進行運算，得到人臉邊界點坐標；

基于所述人臉邊界點坐標從所述目標圖像幀中提取出所述人臉圖像。

3.根據權利要求2所述的方法，其特征在于，所述人臉邊界點坐標包括第一邊界點坐標和第二邊界點坐標，所述基于所述人臉邊界點坐標從所述目標圖像幀中提取出所述人臉圖像，包括：

以所述第一邊界點坐標和所述第二邊界點坐標為對角，從所述目標圖像幀中提取出矩形的所述人臉圖像。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將所述人臉圖像縮放至第二指定尺寸；

所述對所述人臉圖像的像素值進行歸一化處理，包括：

對縮放至第二指定尺寸的所述人臉圖像的像素值進行歸一化處理。

5.根據權利要求1所述的方法，其特征在于，所述依據所述多個關鍵點坐標、預置相機內參數矩陣和預置相機畸變參數確定出所述被評估者的面部朝向角度，包括：

依據所述多個關鍵點坐標、所述預置相機內參數矩陣和所述預置相機畸變參數，確定出與所述多個關鍵點坐標一一對應的多個頭部三維關鍵點基準坐標；

根據所述預置相機內參數矩陣、所述預置相機畸變參數、目標關鍵點坐標和目標頭部三維關鍵點基準坐標，確定出相機的旋轉向量和變換向量；

將所述旋轉向量轉換為旋轉矩陣；

將所述旋轉矩陣與所述變換向量拼接，得到姿態矩陣；

分解所述姿態矩陣，得到所述被評估者的面部朝向角度；

其中，所述目標關鍵點坐標為所述多個關鍵點坐標中的其中一個，所述目標頭部三維關鍵點基準坐標為與所述目標關鍵點坐標對應的頭部三維關鍵點基準坐標。