[發明專利]臉部特征點檢測方法、裝置、設備及存儲介質

有效

• 申請號: 202010442965.1
• 申請日: 2020-05-22
• 公開（公告）號: CN111598038B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 黃少光;許秋子
• 申請（專利權）人: 深圳市瑞立視多媒體科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 于亭

本發明涉及人工智能領域，公開了一種臉部特征點檢測方法、裝置、設備及存儲介質。臉部特征點檢測方法包括：獲取訓練樣本圖像，并對所述訓練樣本圖像進行標注，得到對應的標注信息；將所述訓練樣本圖像和對應的標注信息輸入預置殘差網絡模型進行訓練，得到臉部特征點檢測模型；獲取待檢測圖像并輸入預置人體姿態檢測模型進行人臉檢測，得到所述待檢測圖像中的目標人臉圖像；將所述目標人臉圖像輸入所述臉部特征點檢測模型進行檢測，得到所述目標人臉圖像對應的臉部特征點數據。本發明提高了眼部被遮擋的情形下人臉特征點檢測的精確性。

技術領域

本發明涉及人工智能領域，尤其涉及一種臉部特征點檢測方法、裝置、設備及存儲介質。

背景技術

人臉特征點檢測(Facial?landmark?detection)，即人臉特征點定位、人臉對齊，就是在獲取的人臉圖像的基礎上對人臉上特征點進行定位，如嘴角、眼角、鼻子等。人臉特征點檢測可應用于多個方面，例如通過將人臉特征點對齊到平均位置，使之后的識別方法的準確率更高。此外，人臉特征點檢測還可用于微表情捕捉，表情識別等方面。

然而目前人臉特征點檢測主要是基于眼睛、鼻子和嘴巴。然而當用戶佩戴墨鏡或佩戴VR/AR眼鏡時，通過現有方式很難檢測到人臉特征點。一方面是因為缺少眼睛，很多時候識別模型無法正確將視頻或圖像中的人臉圖像提取出來，另一方面，目前大多數人臉特征點檢測都是綜合五官所有特征實現的特征點檢測。由于這兩個原因，造成當缺乏眼部時，人臉特征點檢測準確率低。

發明內容

本發明的主要目的在于解決遮擋眼部時人臉特征點檢測精確率低的問題。

本發明第一方面提供了一種臉部特征點檢測方法，包括：

獲取訓練樣本圖像，并對所述訓練樣本圖像進行標注，得到對應的標注信息，其中，所述訓練樣本圖像包括遮擋眼部或未遮擋眼部的樣本人臉圖像，所述標注信息包括所述樣本人臉圖像中的嘴部和鼻子的多個特征點對應的坐標信息；

將所述訓練樣本圖像和對應的標注信息輸入預置殘差網絡模型進行訓練，得到臉部特征點檢測模型，其中，所述殘差網絡模型包括輸入層、特征提取層、殘差網絡模型結構和輸出層，所述殘差網絡模型結構由殘差塊組成；

獲取待檢測圖像并輸入預置人體姿態檢測模型進行人臉檢測，得到所述待檢測圖像中的目標人臉圖像；

將所述目標人臉圖像輸入所述臉部特征點檢測模型進行檢測，得到所述目標人臉圖像對應的臉部特征點數據。

可選地，在本發明第一方面的第一種實現方式中，所述獲取訓練樣本圖像，并對所述訓練樣本圖像進行標注，得到對應的標注信息包括：

獲取第一樣本圖像，其中，所述第一樣本圖像包括遮擋眼部或未遮擋眼部的樣本人臉圖像；

對所述第一樣本圖像進行數據擴充，得到第二樣本圖像，其中，所述數據擴充的方式包括旋轉、剪切、隨機增加噪音中的一種或多種；

將所述第二樣本圖像作為訓練樣本圖像，并標注所述訓練樣本圖像中嘴巴和鼻子的特征點對應的坐標，得到對應的標注信息。

可選地，在本發明第一方面的第二種實現方式中，所述將所述訓練樣本圖像和對應的標注信息輸入預置殘差網絡模型進行訓練，得到臉部特征點檢測模型包括：

將所述訓練樣本圖像輸入所述輸入層，并通過所述輸入層對所述訓練樣本圖像進行歸一化，得到歸一化圖像；

將所述歸一化圖像輸入所述特征提取層，并通過所述特征提取層對所述歸一化圖像進行特征提取，得到第一特征圖；

將所述第一特征圖輸入所述殘差網絡模型結構，并通過所述殘差塊進行特征提取和殘差學習，得到第二特征圖；