[發明專利]基于先驗約束的人臉關鍵點檢測方法及裝置

有效

• 申請號: 202210083501.5
• 申請日: 2022-01-25
• 公開（公告）號: CN114118303B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 王金橋;劉智威;李碧瑩;趙朝陽
• 申請（專利權）人: 中科視語（北京）科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V40/16;G06V10/774;G06V10/20
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 吳剛

1.一種人臉關鍵點檢測方法，其特征在于，包括：

獲取待識別人臉圖像；

將所述待識別人臉圖像輸入至人臉關鍵點檢測模型中，得到所述人臉關鍵點檢測模型提取的自注意力特征，以及基于所述自注意力特征輸出的人臉關鍵點位置信息；

其中，所述人臉關鍵點檢測模型為基于人臉樣本圖像、人臉關鍵點位置樣本數據以及所述人臉樣本圖像的結構先驗特征進行有監督訓練得到的，所述人臉樣本圖像的結構先驗特征為對所述人臉關鍵點位置樣本數據進行結構先驗生成運算得到的，所述人臉關鍵點位置樣本數據為所述人臉樣本圖像對應的樣本標簽；

所述人臉關鍵點檢測模型為基于如下步驟訓練得到的：獲取所述人臉樣本圖像和初始模型；將所述人臉樣本圖像輸入至所述初始模型，由所述初始模型基于所述人臉樣本圖像提取自注意力特征，并基于所述自注意力特征進行圖像識別，得到所述初始模型輸出的人臉關鍵點檢測結果；基于所述自注意力特征和所述結構先驗特征的損失結果，以及所述人臉關鍵點檢測結果與所述人臉關鍵點位置樣本數據的損失結果，對所述初始模型進行訓練，得到所述人臉關鍵點檢測模型；

所述基于所述自注意力特征和所述結構先驗特征的損失結果，以及所述人臉關鍵點檢測結果與所述人臉關鍵點位置樣本數據的損失結果，對所述初始模型進行訓練，得到所述人臉關鍵點檢測模型，包括：基于所述自注意力特征和所述結構先驗特征，確定第一損失函數；基于所述人臉關鍵點檢測結果與所述人臉關鍵點位置樣本數據，確定第二損失函數；基于所述第一損失函數、所述第二損失函數和權重參數，對所述初始模型進行訓練，得到所述人臉關鍵點檢測模型；

所述基于所述自注意力特征和所述結構先驗特征，確定第一損失函數，包括：

基于公式：

；

；

，；

；

確定第一損失函數；

其中，表示所述第一損失函數，表示所述結構先驗特征，和均表示所述人臉關鍵點位置樣本數據中的關鍵點的二維坐標，表示所述自注意力特征，Z表示所述人臉關鍵點檢測模型從所述人臉樣本圖像提取出來的特征圖；表示所述自注意力特征經過變形后張量中的單元素值；

所述基于所述人臉關鍵點檢測結果與所述人臉關鍵點位置樣本數據，確定第二損失函數，包括：

基于公式：

；

確定第二損失函數；

其中，表示所述第二損失函數，表示所述人臉關鍵點檢測結果，表示所述人臉關鍵點檢測結果中第j個關鍵點的坐標，所述表示所述人臉關鍵點位置樣本數據，N表示所述人臉關鍵點檢測結果中具有的關鍵點總數，Y表示所述人臉樣本圖像。

2.根據權利要求1所述的人臉關鍵點檢測方法，其特征在于，所述人臉樣本圖像的結構先驗特征為基于如下步驟得到的：

獲取所述人臉關鍵點位置樣本數據；

以所述人臉關鍵點位置樣本數據中的每一關鍵點為中心，基于高斯分布，將每一所述關鍵點的鄰域作為每一所述關鍵點的掩模；

基于多個所述關鍵點坐標的掩模，確定所述結構先驗特征。

3.根據權利要求2所述的人臉關鍵點檢測方法，其特征在于，所述以所述人臉關鍵點位置樣本數據中的每一關鍵點為中心，基于高斯分布，將每一所述關鍵點的鄰域作為每一所述關鍵點的掩模，包括：

基于公式：

；

確定每一所述關鍵點的掩模；

其中，和表示第j個關鍵點的橫坐標和縱坐標，和表示以第j個關鍵點為中心的鄰域內的任意點的橫坐標和縱坐標，R是以第j個關鍵點為中心的鄰域的半徑，σ是以第j個關鍵點為中心的鄰域內的任意點的標準差。