[發明專利]人臉關鍵點檢測方法、裝置、電子設備及存儲介質

有效

• 申請號: 202011133910.9
• 申請日: 2020-10-21
• 公開（公告）號: CN112257578B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 陳嘉莉;周超勇;劉玉宇
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/82;G06N3/0464;G06N3/048
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 孫芬

1.一種人臉關鍵點檢測方法，其特征在于，所述人臉關鍵點檢測方法包括：

將人臉圖片訓練數據輸入至第一殘差網絡，并經所述第一殘差網絡處理得到第一特征圖，其中所述人臉圖片訓練數據包括有遮擋瑕疵的人臉圖像，所述第一殘差網絡包括一個卷積層、一個最大池化層及由至少一個殘差單元構成的殘差計算模塊，用于從人臉圖像中獲取人臉圖像特征；

將所述第一特征圖輸入至幾何感知網絡，并經所述幾何感知網絡處理得到第一幾何關系矩陣；

將所述第一特征圖輸入至注意力模型，并經所述注意力模型處理得到第一加權特征圖矩陣；

根據所述第一幾何關系矩陣與所述第一加權特征圖矩陣得到第一輸入數據；

將所述第一輸入數據輸入至第一低秩學習網絡，訓練所述第一低秩學習網絡預測所述人臉圖片訓練數據中的人臉關鍵點，并得到訓練完成的第二低秩學習網絡，包括：

將所述輸入數據輸入至所述第一低秩學習網絡的全連接層；

以所述輸入數據為所述第一低秩學習網絡的輸入，以所述人臉圖片訓練數據中的人臉關鍵點為輸出，訓練所述第一低秩學習網絡預測所述人臉圖片訓練數據中的人臉關鍵點；

根據預設的損失函數優化所述第一低秩學習網絡，得到訓練完成的第二低秩學習網絡，包括：根據公式優化所述第一低秩學習網絡的全連接層的權重，得到所述訓練完成的第二低秩學習網絡，其中，N為所述人臉圖片訓練數據的樣本數量，為所述第一低秩學習網絡預測的人臉關鍵點，其中，W^T為所述第一低秩學習網絡的全連接層的權重矩陣的轉置，M^T為結構矩陣的轉置，X為所述輸入數據，S＝{S₁，S₂，...，S_L}為所述人臉圖片訓練數據中的人臉關鍵點，L為所述人臉圖片訓練數據中的人臉關鍵點的數量，為的F范數的平方，β為結構矩陣的秩的正則化參數，Rank(M)為結構矩陣的秩，所述第二低秩學習網絡可以預測人臉圖片中的人臉關鍵點；

將人臉圖片測試數據輸入至所述第一殘差網絡，并經過所述第一殘差網絡處理得到第二特征圖，將所述第二特征圖輸入至所述幾何感知網絡，并經所述幾何感知網絡處理得到第二幾何關系矩陣，將所述第二特征圖輸入至所述注意力模型，并經所述注意力模型處理得到第二加權特征圖矩陣，根據所述第二幾何關系矩陣與所述第二加權特征圖矩陣得到第二輸入數據；

將所述第二輸入數據輸入至所述第二低秩學習網絡，所述第二低秩學習網絡預測所述人臉圖片測試數據中的人臉關鍵點；

輸出所述人臉圖片測試數據中的人臉關鍵點。

2.如權利要求1所述的人臉關鍵點檢測方法，其特征在于，所述將人臉圖片訓練數據輸入至第一殘差網絡，并經所述第一殘差網絡處理得到第一特征圖包括：

將所述人臉圖片訓練數據輸入所述第一殘差網絡中的所述卷積層，經所述卷積層計算得到第一計算結果；

將所述第一計算結果輸入所述第一殘差網絡的所述最大池化層，經所述最大池化層計算得到第二計算結果；

將所述第二計算結果輸入所述第一殘差網絡的所述殘差計算模塊，經所述殘差計算模塊計算得到所述第一特征圖。

3.如權利要求1所述的人臉關鍵點檢測方法，其特征在于，將所述第一特征圖輸入至幾何感知網絡，并經所述幾何感知網絡處理得到第一幾何關系矩陣包括：

將所述第一特征圖輸入至所述幾何感知網絡中的第一卷積神經網絡，經所述第一卷積神經網絡處理得到第一矩陣，所述第一卷積神經網絡用于獲取人臉圖像中人臉部件間的遠距離幾何關系；

將所述第一特征圖輸入至所述幾何感知網絡中的第二卷積神經網絡，經所述第二卷積神經網絡處理得到第二矩陣，所述第二卷積神經網絡用于獲取人臉圖像中人臉部件間的局部幾何關系；

計算所述第一矩陣和所述第二矩陣的外積得到所述第一幾何關系矩陣。