[發明專利]關鍵點檢測方法及裝置、電子設備和存儲介質

在審

• 申請號: 202011596254.6
• 申請日: 2020-12-29
• 公開（公告）號: CN112613447A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 陳祖凱;李思穎;王權;錢晨
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種關鍵點檢測方法，其特征在于，包括：

獲取人臉圖像；

利用目標神經網絡包括的至少兩個神經網絡分支，對所述人臉圖像中人臉以及至少一個人臉器官進行處理，得到人臉關鍵點信息集合，所述人臉關鍵點信息集合包括人臉的關鍵點信息以及人臉器官的關鍵點信息；

其中，所述至少兩個神經網絡分支包括用于檢測人臉的第一網絡分支和用于檢測人臉器官的至少一個第二網絡分支，所述第一網絡分支輸出的第一檢測結果包括人臉的全局信息，所述人臉的全局信息中包括的人臉的關鍵點信息和/或人臉圖像的特征信息傳遞到各所述第二網絡分支中，各所述第二網絡分支用于結合所述人臉的全局信息確定對應的人臉器官的關鍵點信息。

2.根據權利要求1所述的方法，其特征在于，所述第二網絡分支包括感興趣區域校準層和特征提取層；

所述利用目標神經網絡包括的至少兩個神經網絡分支，對所述人臉圖像中人臉以及至少一個人臉器官進行檢測，得到人臉關鍵點信息集合，包括：

通過所述第一網絡分支對所述人臉進行檢測，得到所述第一檢測結果；

通過各所述第二網絡分支的感興趣區域校準層，提取人臉器官的檢測區域；

通過各所述第二網絡分支的特征提取層，提取與所述至少一個人臉器官對應的檢測區域的圖像特征；

利用所述檢測區域的圖像特征以及所述人臉的全局信息，得到所述至少一個人臉器官的關鍵點信息。

3.根據權利要求2所述的方法，其特征在于，所述利用所述檢測區域的圖像特征以及所述人臉的關鍵點信息，得到所述至少一個人臉器官的關鍵點信息，包括：

將所述檢測區域的圖像特征與對應的所述人臉的關鍵點信息和/或所述人臉圖像的特征信息進行至少一次融合處理，得到融合特征信息；

根據所述融合特征信息，得到所述人臉器官的關鍵點信息。

4.根據權利要求2或3所述的方法，其特征在于，所述第一檢測結果還包括至少一個人臉器官的檢測框信息；

所述通過各所述第二網絡分支的感興趣區域校準層，提取人臉器官的檢測區域，包括：

根據所述至少一個人臉器官的檢測框信息，確定所述至少一個人臉器官在所述人臉圖像中的位置坐標；

通過各所述第二網絡分支的感興趣區域校準層，在所述位置坐標的精度下，提取與所述至少一個人臉器官的檢測框信息分別匹配的人臉器官的檢測區域。

5.根據權利要求2至4中任意一項所述的方法，其特征在于，所述人臉器官的檢測區域包括：從所述人臉圖像中提取的與人臉器官區域，和/或，從所述第一網絡分支輸出的人臉圖像的特征信息中提取的人臉器官區域的特征信息。

6.根據權利要求2至5中任意一項所述的方法，其特征在于，所述第一檢測結果還包括至少一個人臉器官的檢測框信息；

在所述通過各所述第二網絡分支的感興趣區域校準層，提取人臉器官的檢測區域之前，還包括：

對所述至少一個人臉器官的檢測框信息進行增強處理，其中，所述增強處理包括：伸縮變換處理和/或平移變換處理。

7.根據權利要求1至6中任意一項所述的方法，其特征在于，所述人臉的關鍵點信息中人臉的關鍵點的數量包括68至128個；和/或，

所述人臉器官的關鍵點信息中嘴部的關鍵點的數量包括40至80個；和/或，

所述人臉器官的關鍵點信息中左眼的關鍵點的數量包括16至32個；和/或，

所述人臉器官的關鍵點信息中右眼的關鍵點的數量包括16至32個；和/或，

所述人臉器官的關鍵點信息中左眉毛的關鍵點的數量包括10至20個；和/或，

所述人臉器官的關鍵點信息中右眉毛的關鍵點的數量包括10至20個。

8.根據權利要求1至7中任意一項所述的方法，其特征在于，所述人臉圖像包括關鍵點標注，所述方法還包括：

根據所述關鍵點標注以及所述人臉關鍵點信息集合，確定所述目標神經網絡的誤差損失；

根據所述誤差損失，對所述目標神經網絡中的至少兩個神經網絡分支的參數進行共同更新。