[發明專利]人臉圖像處理方法、裝置、電子設備、存儲介質及程序

在審

• 申請號: 202110982660.4
• 申請日: 2017-12-15
• 公開（公告）號: CN113688737A
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 王權;錢晨
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/08
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 靳玫

本申請實施方式公開了一種人臉圖像處理方法、用于訓練神經網絡的方法、裝置、電子設備、計算機可讀存儲介質以及計算機程序，其中的方法主要包括：將待處理人臉圖像輸入至神經網絡中；經由所述神經網絡提取所述待處理人臉圖像的包括至少一個三維不動關鍵點在內的人臉關鍵點信息。

技術領域

本申請涉及計算機視覺技術，尤其是涉及一種人臉圖像處理方法、人臉圖像處理裝置、用于訓練神經網絡的方法、用于訓練神經網絡的裝置、電子設備、計算機可讀存儲介質以及計算機程序。

背景技術

人臉關鍵點是人臉識別等諸多應用中不可或缺的一部分。準確的確定出人臉關鍵點，尤其是準確的確定出帶有大表情或者存在大角度偏轉的面部的人臉關鍵點，不僅有利于對人臉的相關位置進行矯正，而且有利于增強人臉的語義信息。

發明內容

本申請實施方式提供一種人臉圖像處理技術方案。

根據本申請實施方式其中一個方面，提供了一種人臉圖像處理方法，該方法包括：將待處理人臉圖像輸入至神經網絡中；經由所述神經網絡提取所述待處理人臉圖像的包括至少一個三維不動關鍵點在內的人臉關鍵點信息。

在本申請一實施方式中，所述神經網絡提取出的人臉關鍵點信息包括：待處理人臉圖像中的位于未被遮擋位置處和/或被遮擋位置處的人臉關鍵點信息。

在本申請又一實施方式中，所述三維不動關鍵點包括：眼瞼中心關鍵點、鼻子下沿中心關鍵點、嘴唇唇峰關鍵點、嘴唇中心關鍵點以及下巴中心關鍵點中的至少一個。

在本申請再一實施方式中，所述眼瞼中心關鍵點包括：左眼上眼瞼中心關鍵點、左眼下眼瞼中心關鍵點、右眼上眼瞼中心關鍵點以及右眼下眼瞼中心關鍵點中的至少一個。

在本申請再一實施方式中，所述嘴唇中心關鍵點包括：上嘴唇上唇線中心關鍵點、上嘴唇下唇線中心關鍵點、下嘴唇上唇線中心關鍵點以及下嘴唇下唇線中心關鍵點中的至少一個。

在本申請再一實施方式中，所述嘴唇唇峰關鍵點包括：嘴唇左唇峰關鍵點以及嘴唇右唇峰關鍵點中的至少一個。

在本申請再一實施方式中，所述神經網絡提取出的人臉關鍵點信息包括：68個、106個、240個、252個或270個人臉關鍵點信息。

在本申請再一實施方式中，所述神經網絡是利用標注有：包括至少一個三維不動關鍵點在內的人臉關鍵點標注信息的人臉圖像樣本，訓練而成的。

在本申請再一實施方式中，所述方法還包括：獲取多個人臉圖像樣本，其中，所述人臉圖像樣本標注有：包括至少一個三維不動關鍵點在內的人臉關鍵點標注信息；利用所述多個人臉圖像樣本訓練所述神經網絡。

在本申請再一實施方式中，所述人臉圖像樣本標注有在人臉圖像樣本中的位于未被遮擋位置處和/或被遮擋位置處的人臉關鍵點標注信息。

在本申請再一實施方式中，所述人臉圖像樣本的人臉關鍵點標注信息包括：68個、106個、240個、252個或270個人臉關鍵點標注信息。

在本申請再一實施方式中，在所述利用人臉圖像樣本訓練所述神經網絡之前，還包括采用下述步驟獲取所述人臉關鍵點標注信息：確定人臉圖像樣本中的人臉至少一個部位的曲線控制點；根據所述曲線控制點形成曲線；確定所述曲線上作為人臉圖像樣本的三維不動關鍵點；在人臉圖像樣本的三維不動關鍵點的至少一側，選取曲線上的點；根據所述選取的點以及所述人臉圖像樣本的三維不動關鍵點形成人臉關鍵點標注信息。

在本申請再一實施方式中，所述確定所述曲線上作為人臉圖像樣本的三維不動關鍵點包括：確定所述曲線上的與人臉圖像樣本上標記的三維不動關鍵點的距離滿足預定距離要求的點，將所述點作為人臉圖像樣本的三維不動關鍵點。