[發明專利]一種人臉關鍵點定位方法、裝置、終端及存儲介質

在審

• 申請號: 202111501969.3
• 申請日: 2021-12-09
• 公開（公告）號: CN114187634A
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 孫雨涵;陳永輝
• 申請（專利權）人: 深圳市美通視訊科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/46;G06V10/82;G06N3/04;G06N3/08;G06K9/62;G06V10/764
• 代理公司: 北京維正專利代理有限公司 11508
• 代理人: 孫中勤

本申請涉及計算機視覺領域，尤其是涉及一種人臉關鍵點定位方法、裝置、終端及存儲介質，該方法包括：實時獲取人臉圖像信息；采用輕量級坐標回歸網絡模型對所述人臉圖像信息進行關鍵點定位并輸出關鍵點定位信息；其中，所述輕量級坐標回歸網絡模型采用SE?Sandglass結構作為主干網絡。本申請基于輕量級的坐標回歸網絡模型實現人臉關鍵點定位，能夠應用于計算資源受限的系統中，實現實時的人臉關鍵點定位并提高定位精度。

技術領域

本申請涉及計算機視覺領域，尤其是涉及一種人臉關鍵點定位方法、裝置、終端及存儲介質。

背景技術

隨著現代生活日益發展，汽車在生活中越來越普及，汽車數量的迅速增加給人們帶來了便利，但是也導致了更多的交通事故，其中由駕駛員個人因素導致的事故比例高達70％以上。因此開發疲勞駕駛監測系統是有效降低交通事故發生率的手段，人臉關鍵點定位是該系統必不可少的功能。疲勞駕駛監測系統中打哈欠判斷，眨眼判斷，分神判斷等功能模塊都依賴于連續穩定的人臉關鍵點定位算法，依據人臉關鍵點定位算法，偵測駕駛員的眉毛、眼睛，嘴巴，鼻子，人臉外輪廓等具體的位置分布。通過眼睛和嘴巴的關鍵點坐標計算閉合程度可以分析駕駛員疲勞狀態；通過人臉的鼻子，眉毛和外輪廓可以分析駕駛員的頭部朝向，結合疲勞狀態和頭部朝向對駕駛員的駕駛行為進行監測。

相關技術中的人臉關鍵點定位算法大致可以分為基于手工特征的傳統方法和基于深度學習的回歸方法。傳統方法中具有代表性的主要有基于模型的ASM，AAMs和基于約束局部模型CLMs，通過優化誤差方程以達到關鍵點定位的目的，但是求解非線性最優化問題相對復雜，中間維度過高還會使計算成本過大。近年來，隨著卷積神經網絡快速發展，大量基于深度學習的方法被提出，其中基于坐標回歸和基于熱圖回歸的兩大類方法由于性能優于傳統方法而備受青睞。一般用比較大型的網絡來最大限度地學習更多特征，以提高定位精度。

針對上述中的相關技術，發明人認為采用比較大型的網絡雖然能夠提高定位精度，但隨之產生的就是效率問題，難以進行實時的人臉關鍵點定位；而采用小型網絡雖然實時性較強，參數量相對較少，但算法性能有限，定位精度較低。

發明內容

為了提高人臉關鍵點定位的精度和效率，本申請提供了一種人臉關鍵點定位方法、裝置、終端及存儲介質。

第一方面，本申請提供一種人臉關鍵點定位方法，采用如下的技術方案：

一種人臉關鍵點定位方法，包括：

實時獲取人臉圖像信息；

采用輕量級坐標回歸網絡模型對所述人臉圖像信息進行關鍵點定位并輸出關鍵點定位信息；

其中，所述輕量級坐標回歸網絡模型采用SE-Sandglass結構作為主干網絡。

通過采用上述技術方案，基于輕量級的坐標回歸網絡模型實現人臉關鍵點定位，能夠應用于計算資源受限的系統中，實現實時的人臉關鍵點定位并提高定位精度。

可選的，所述SE-Sandglass結構包括Sandglass結構和SE結構，將所述Sandglass結構和SE結構進行串聯結合。

通過采用上述技術方案，針對Sandglass與SE的優點，將兩者進行結合得到SE-Sandglass結構，將Sandglass與SE進行串聯結合，并將SE放在高維特征之后，有效地提高了Sandglass模塊的表示能力；SE-Sandglass結構不僅具有Sandglass結構較強的提取特征能力、參數量少，同時具有SE結構的通道注意力機制來增強有用特征并抑制對人臉關鍵點定位用處不大的特征。

可選的，所述Sandglass結構包括依次串聯的第一深度卷積、第一逐點卷積、第二逐點卷積和第二深度卷積，所述第一深度卷積和第二逐點卷積后使用非線性激活函數ReLU6，所述第一逐點卷積和第二深度卷積后使用線性激活。