[發明專利]人臉的關鍵點定位方法和裝置、存儲介質及電子裝置

有效

• 申請號: 202011205000.7
• 申請日: 2020-11-02
• 公開（公告）號: CN112257645B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 張姜
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/766;G06V10/82;G06N3/045;G06N3/0464
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 趙靜

本發明公開了一種人臉的關鍵點定位方法和裝置、存儲介質及電子裝置。其中，該方法包括：將人臉圖像輸入第一卷積神經網絡中，通過第一卷積神經網絡的特征提取最終連接全連接層輸出人臉圖像對應的角度信息；將該角度信息和該人臉圖像輸入第二卷積神經網絡中，該第二卷積神經網絡的特征提取最終與全連接層相連并輸出人臉關鍵點的坐標信息，達到了將人臉角度信息作為一個重要特征融入到人臉關鍵點定位的目的。本發明解決了現有技術中，人臉關鍵點定位的精度差的技術問題。

技術領域

本發明涉及計算機視覺技術領域，具體而言，涉及一種人臉的關鍵點定位方法和裝置、存儲介質及電子裝置。

背景技術

人臉關鍵點定位是目前學術界和工業界的一個研究焦點，旨在對于給定的人臉圖像，定位多個人臉關鍵的特征點（如眉毛、眼睛、鼻子、嘴巴、面部輪廓等）的位置，關鍵點的數量從最早的5個到現在的68個、100多個乃至上千個等等。作為提取人臉特征的前置任務，該項技術在多個人臉分析的下游任務中起到重要的作用，例如人臉識別、頭部姿態估計、人臉屬性分析等等。盡管近年來有一系列方法致力于人臉關鍵點檢測的研究中，但是人臉關鍵點檢測這一課題中依舊存在諸多的挑戰。主要原因在于自然開放場景下獲得的人臉圖像由于大姿態和大表情，具有很大的變化性，使得人臉關鍵點檢測的算法很容易陷入局部最優，很難處理一些極端情況，導致最終關鍵點檢測效果較差。

在自然開放場景下獲得的人臉圖像由于大姿態和夸張表情，具有很大的變化性，同時，多姿態、大角度對關鍵點定位的影響主要體現在兩個方面：1、大角度人臉會導致部分面部信息的缺失，難以通過圖像獲取特征以及實現準確定位；2、大角度、復雜姿態的人臉場景相對較少，即樣本數量不平衡問題，這會導致一些普通的方法在進行學習時，無法很好的關注到這部分情形的人臉，進而造成此類場景下的關鍵點定位效果較差。如果能夠將人臉的姿態信息作為關鍵點定位時的輔助信息，為關鍵點的定位在人臉角度層面上提供一定程度的指導，那么定位效果極有可能得到改善。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種人臉的關鍵點定位方法和裝置、存儲介質及電子裝置，以至少解決現有技術中，人臉關鍵點定位的精度差的技術問題。

根據本發明實施例的一個方面，提供了一種人臉的關鍵點定位方法，包括：獲取包括目標人臉的人臉圖像；將所述人臉圖像輸入至第一卷積神經網絡，輸出所述人臉圖像對應的角度特征圖，其中，所述角度特征圖包括所述目標人臉的角度信息，所述第一卷積神經網絡是通過樣本人臉圖像訓練預設第一卷積神經網絡得到的，所述預設第一卷積神經網絡包括輸出樣本角度特征圖的特征提取層、進行角度回歸的全連接層和第一損失函數，在所述第一損失函數值趨于收斂時，得到所述第一卷積神經網絡；將所述人臉圖像和所述角度特征圖輸入至第二卷積神經網絡，輸出所述目標人臉的關鍵點的坐標信息，其中，所述第二卷積神經網絡是通過所述樣本人臉圖像和所述樣本角度特征圖訓練預設第二卷積神經網絡得到的，所述預設第二卷積神經網絡包括關鍵點坐標回歸的全連接層和第二損失函數，在所述第二損失函數值趨于收斂時，得到所述第二卷積神經網絡。

根據本發明實施例的另一方面，還提供了一種人臉的關鍵點定位裝置，包括：第一獲取單元，用于獲取包括目標人臉的人臉圖像；第一輸出單元，用于將所述人臉圖像輸入至第一卷積神經網絡，輸出所述人臉圖像對應的角度特征圖，其中，所述角度特征圖包括所述目標人臉的角度信息，所述第一卷積神經網絡是通過樣本人臉圖像訓練預設第一卷積神經網絡得到的，所述預設第一卷積神經網絡包括輸出樣本角度特征圖的特征提取層、進行角度回歸的全連接層和第一損失函數，在所述第一損失函數值趨于收斂時，得到所述第一卷積神經網絡；第二輸出單元，用于將所述人臉圖像和所述角度特征圖輸入至第二卷積神經網絡，輸出所述目標人臉的關鍵點的坐標信息，其中，所述第二卷積神經網絡是通過所述樣本人臉圖像和所述樣本角度特征圖訓練預設第二卷積神經網絡得到的，所述預設第二卷積神經網絡包括關鍵點坐標回歸的全連接層和第二損失函數，在所述第二損失函數值趨于收斂時，得到所述第二卷積神經網絡。