[發明專利]人臉姿態分析方法、裝置、設備、存儲介質以及程序

在審

• 申請號: 201711424986.5
• 申請日: 2017-12-25
• 公開（公告）號: CN109960986A
• 公開（公告）日: 2019-07-02
• 發明（設計）人: 王權;王飛;錢晨
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

本申請實施方式公開了一種人臉姿態分析方法、神經網絡的訓練方法、裝置、電子設備、計算機可讀存儲介質以及計算機程序，其中的人臉姿態分析方法包括：獲取待處理人臉圖像的人臉關鍵點；將所述待處理人臉圖像的人臉關鍵點輸入至神經網絡中，以獲得所述神經網絡輸出的所述待處理人臉圖像的人臉姿態信息。

技術領域

本申請涉及計算機視覺技術，尤其是涉及一種人臉姿態分析方法、人臉姿態分析裝置、神經網絡的訓練方法、神經網絡的訓練裝置、電子設備、計算機可讀存儲介質以及計算機程序。

背景技術

人臉圖像是包含有人臉的圖像。如何從人臉圖像中獲得更多的信息，是一個值得關注的技術問題。

發明內容

本申請實施方式提供一種人臉姿態分析和訓練神經網絡的技術方案。

根據本申請實施方式其中一方面，提供一種人臉姿態分析方法，所述方法包括：獲取待處理人臉圖像的人臉關鍵點；將所述待處理人臉圖像的人臉關鍵點輸入至神經網絡中，以獲得所述神經網絡輸出的所述待處理人臉圖像的人臉姿態信息。

在本申請一實施方式中，所述人臉姿態信息包括：圍繞X軸旋轉信息、圍繞Y軸旋轉信息以及圍繞Z軸旋轉信息中的至少一個。

在本申請的又一實施方式中，所述獲取待處理人臉圖像的人臉關鍵點包括：利用卷積神經網絡獲取待處理人臉圖像的人臉關鍵點。

在本申請再一實施方式中，所述將所述待處理人臉圖像的人臉關鍵點輸入至神經網絡中包括：將所述待處理人臉圖像的人臉關鍵點進行坐標歸一化處理，并將坐標歸一化處理后的人臉關鍵點輸入至神經網絡中。

在本申請再一實施方式中，所述神經網絡基于包括有人臉關鍵點和人臉姿態標注信息的訓練數據預先訓練而得。

在本申請再一實施方式中，所述神經網絡包括：至少兩個帶有修正線性單元的全連接層以及一個被作為輸出層的全連接層。

在本申請再一實施方式中，所述圍繞X軸旋轉信息包括：圍繞X軸旋轉角度；和/或，所述圍繞Y軸旋轉信息包括：圍繞Y軸旋轉角度；和/或，所述圍繞Z軸旋轉信息包括：圍繞Z軸旋轉角度。

在本申請再一實施方式中，所述方法還包括：根據所述待處理人臉圖像的人臉姿態信息對所述待處理人臉圖像進行處理；其中，所述處理包括：人臉識別、變臉處理、美顏處理、美妝處理、人臉的圖像渲染處理、人臉狀態檢測處理、表情檢測處理以及器官精細定位處理中的至少一個。

在本申請再一實施方式中，所述神經網絡的訓練方法包括：從訓練數據集中獲取訓練數據，所述訓練數據包括有人臉關鍵點和人臉姿態標注信息；將所述訓練數據中的人臉關鍵點輸入待訓練的神經網絡中，以獲得所述待訓練的神經網絡輸出的人臉姿態信息；以所述待訓練的神經網絡輸出的人臉姿態信息和所述訓練數據中的人臉姿態標注信息之間的差異為指導信息，對所述待訓練的神經網絡進行監督學習。

在本申請再一實施方式中，所述訓練數據集中的訓練數據的生成方法包括：獲取人臉圖像樣本的人臉關鍵點；根據人臉圖像樣本的人臉關鍵點，利用三維人臉模型，確定所述人臉圖像樣本的人臉姿態標注信息；其中，所述人臉圖像樣本的人臉關鍵點和人臉圖像樣本的人臉姿態標注信息被作為訓練數據集中的一條訓練數據。

在本申請再一實施方式中，所述根據所述人臉圖像樣本的人臉關鍵點，利用三維人臉模型，確定所述人臉圖像樣本的人臉姿態標注信息包括：根據梯度下降法，調整三維人臉模型的參數，以優化所述人臉圖像樣本的人臉關鍵點和參數調整后的三維人臉模型的人臉關鍵點投影獲得的二維人臉關鍵點之間的距離和，從而確定所述人臉圖像樣本的人臉姿態標注信息。

在本申請再一實施方式中，所述調整三維人臉模型的參數包括：調整三維人臉模型的位置、三維人臉模型的姿態以及三維人臉模型的表情中的至少一個。