[發明專利]人臉關鍵點的定位方法、人臉圖像處理方法和相關裝置

有效

• 申請號: 201811536436.7
• 申請日: 2018-12-14
• 公開（公告）號: CN109635752B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 晏軼超;汪鋮杰;李季檁;葛彥昊;曹赟;曹瑋劍;曹煊;梁亦聰;趙艷丹
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 郭潤湘;李娟

1.一種人臉關鍵點的定位方法，其特征在于，包括：

獲取人臉圖像，并根據所述人臉圖像和訓練得到的人臉配準模型，確定人臉的關鍵點的位置信息及各個關鍵點是否可見的結果，所述人臉配準模型包括兩個全連接層，分別輸出人臉的關鍵點的位置信息和關鍵點是否可見的結果；

分別確定人臉的各個特征部位中可見的關鍵點的數量；

針對每一特征部位，若該特征部位中可見的關鍵點的數量大于預設數量閾值，則提取僅包含該特征部位的特征部位圖像；

根據該特征部位的特征部位圖像和該特征部位對應的特征部位配準模型，修正該特征部位的關鍵點的位置信息；

基于修正的各個特征部位的關鍵點的位置信息，更新基于人臉配準模型確定出的人臉的關鍵點的位置信息。

2.如權利要求1所述的方法，其特征在于，所述根據所述人臉圖像和訓練得到的人臉配準模型，確定人臉的關鍵點的位置信息及各個關鍵點是否可見的結果，具體包括：

從所述人臉圖像中檢測出僅包含人臉的人臉區域圖像；

對所述人臉區域圖像進行歸一化處理；

將歸一化處理后的圖像輸入到所述人臉配準模型中，由所述人臉配準模型的兩個全連接層分別輸出人臉的關鍵點的位置信息和各個關鍵點是否可見的結果。

3.如權利要求1所述的方法，其特征在于，所述人臉配準模型為殘差神經網絡ResNet模型，則按照下述方法訓練所述人臉配準模型：

利用ImageNet數據集對所述ResNet模型進行預訓練；

利用用于定位人臉的關鍵點的全連接層和用于確定關鍵點是否可見的全連接層替換預訓練得到的ResNet模型中的全連接層，得到替換后的ResNet模型；

對替換后的ResNet模型進行初始化；

利用人臉訓練樣本對初始化后的ResNet模型進行訓練，得到所述人臉配準模型。

4.如權利要求3所述的方法，其特征在于，所述人臉訓練樣本為人臉樣本圖像，且已知該人臉樣本圖像的實際關鍵點信息，所述實際關鍵點信息包括樣本人臉的關鍵點的實際位置信息及關鍵點是否可見的結果；則

利用人臉訓練樣本對初始化后的ResNet模型進行訓練，具體包括：

將所述人臉樣本圖像輸入至初始化后的ResNet模型中；

根據所述初始化后的ResNet模型的輸出結果及所述人臉樣本圖像的實際關鍵點信息，對所述ResNet模型中的神經元的權重進行調整，直至滿足模型訓練結束條件為止。

5.如權利要求1所述的方法，其特征在于，所述特征部位配準模型為ResNet模型，則按照下述方法訓練所述特征部位配準模型：

利用ImageNet數據集對所述ResNet模型進行預訓練；

利用用于定位所述特征部位中的關鍵點的全連接層替換預訓練得到的ResNet模型中的全連接層，得到替換后的ResNet模型；

對替換后的ResNet模型進行初始化；

利用特征部位訓練樣本對初始化后的ResNet模型進行訓練，得到所述特征部位的特征部位配準模型。

6.如權利要求5所述的方法，其特征在于，所述特征部位訓練樣本為特征部位樣本圖像，且已知該特征部位樣本圖像中關鍵點的實際位置信息；則

利用特征部位訓練樣本對初始化后的ResNet模型進行訓練，具體包括：

將所述特征部位樣本圖像輸入到初始化后的ResNet模型中；

根據所述初始化后的ResNet模型的輸出結果及所述特征部位樣本圖像中關鍵點的實際位置信息，對所述ResNet模型中的神經元的權重進行調整，直至滿足模型訓練結束條件為止。

7.一種人臉圖像處理方法，其特征在于，包括：

采用權利要求1～6任一所述人臉關鍵點的定位方法，從人臉圖像中定位人臉的關鍵點的位置信息和確定關鍵點是否可見的結果；

基于定位出的關鍵點的位置信息和關鍵點是否可見的結果，對人臉圖像進行處理。