[發明專利]光照和頭部姿態魯棒的表情識別方法、設備及存儲介質

在審

• 申請號: 202011424201.6
• 申請日: 2020-12-08
• 公開（公告）號: CN112541422A
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 胡四泉;桂雨蓉;石志國
• 申請（專利權）人: 北京科技大學;北京科技大學順德研究生院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波;付忠林

1.一種光照和頭部姿態魯棒的表情識別方法，其特征在于，包括：

獲取待識別的人臉圖像，并對獲取的人臉圖像進行預處理，以將所獲取的人臉圖像的光照分布自適應調整至符合預設均勻度要求的分布；

從預處理后的人臉圖像中提取出面部區域圖像和預設類型的關鍵點；

基于得到的預設類型的關鍵點，獲取預設區域的紋理和邊緣特征向量；基于得到的預設類型的關鍵點，獲取人物頭部姿態偏轉方向，根據人物頭部姿態偏轉方向的不同，采取不同的姿態微調方式對面部區域圖像進行頭部姿態校正；

通過預設的雙通道卷積神經網絡，根據校正后的面部區域圖像，對人物表情進行識別；其中，所述雙通道卷積神經網絡的第一維度輸入數據為校正后的面部區域圖像，第二維度輸入數據為所述預設區域的紋理和邊緣特征向量。

2.如權利要求1所述的光照和頭部姿態魯棒的表情識別方法，其特征在于，所述對獲取的人臉圖像進行預處理，包括：

分別計算人臉圖像灰度和亮度平均值，確定非線性校正指數γ值，公式如下：

其中，V_gray為人臉圖像的灰度平均值，V_I為人臉圖像的亮度平均值；

根據確定的γ值，采用非線性伽馬校正方法，校正人臉圖像光照分布。

3.如權利要求2所述的光照和頭部姿態魯棒的表情識別方法，其特征在于，在對人臉圖像光照分布校正后，所述對獲取的人臉圖像進行預處理，還包括：

將校正光照分布后的人臉圖像轉換為單通道灰度圖。

4.如權利要求1所述的光照和頭部姿態魯棒的表情識別方法，其特征在于，所述從預處理后的人臉圖像中提取出面部區域圖像和預設類型的關鍵點，包括：

采用多任務卷積神經網絡從預處理后的人臉圖像中提取出面部區域圖像，并從所提取的面部區域圖像中提取出多個預設類型的關鍵點。

5.如權利要求1所述的光照和頭部姿態魯棒的表情識別方法，其特征在于，所述預設類型的關鍵點包括眉毛、眼睛和嘴巴的關鍵點；所述基于得到的預設類型的關鍵點，獲取預設區域的紋理和邊緣特征向量，包括：

利用凸包算法將面部區域圖像中的眉毛、眼睛和嘴巴的區域分別裁剪出來作為感興趣區域；

利用局部二值模式算子分別提取眉毛、眼睛和嘴巴對應的感興趣區域的紋理特征，并將每一感興趣區域的紋理特征統計成直方圖特征向量；

將各感興趣區域的直方圖特征向量整合，得到所述紋理和邊緣特征向量。

6.如權利要求5所述的光照和頭部姿態魯棒的表情識別方法，其特征在于，所述二值模式算子為等價模式二值模式算子。