[發明專利]人臉關鍵點的定位方法、人臉圖像處理方法和相關裝置

有效

• 申請號: 201811536436.7
• 申請日: 2018-12-14
• 公開（公告）號: CN109635752B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 晏軼超;汪鋮杰;李季檁;葛彥昊;曹赟;曹瑋劍;曹煊;梁亦聰;趙艷丹
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 郭潤湘;李娟

本發明公開了一種人臉關鍵點的定位方法、人臉圖像處理方法和相關裝置，屬于圖像處理技術領域，本發明提供的方法中，根據獲取到的人臉圖像和訓練得到的人臉配準模型，確定人臉的關鍵點的位置信息及各個關鍵點是否可見的結果；分別確定人臉的各個特征部位中可見的關鍵點的數量；針對每一特征部位，若該特征部位中可見的關鍵點的數量大于預設數量閾值，則提取僅包含該特征部位的特征部位圖像；根據該特征部位的特征部位圖像和該特征部位對應的特征部位配準模型，修正該特征部位的關鍵點的位置信息；基于修正的各個特征部位的關鍵點的位置信息，更新基于人臉配準模型確定出的人臉的關鍵點的位置信息。大大提高了定位出的關鍵點的位置信息的準確性。

本申請要求在2018年12月12日提交中國專利局、申請號為201811516620.5、發明名稱為“人臉關鍵點的定位方法、人臉圖像處理方法和相關裝置”的中國專利申請的優先權，其全部內容通過引用結合在本申請中。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種人臉關鍵點的定位方法、人臉圖像處理方法和相關裝置。

背景技術

隨著自拍、短視頻的流行，用戶對自動美顏、自動化妝、自動加掛件等功能的需求不斷提升，人臉配準作為實現這些功能的基礎也取得了更加廣泛的應用。而人臉配準是指在一幅人臉圖像中自動定位出人臉各個器官的準確位置以及人臉的外輪廓，為進一步地人臉圖像的處理與分析提供重要的形狀信息，是人臉識別、人臉驗證、人臉動畫及人臉姿態表情分析等領域的關鍵技術之一。

現有技術中采用的人臉配準方法大致過程為：先檢測圖片中的人臉，然后直接利用深度卷積神經網絡(Convolutional Neural Network，CNN)直接回歸人臉的關鍵點坐標，參考圖1所示。

現有技術提供的方法存在下述問題，人臉關鍵點定位精度較低，影響候選自動美顏、上妝、加掛件等功能的準確性，另外，現有技術無法確定定位出的關鍵點的可見性，對自動化妝等功能造成影響，例如，圖1中左眼明顯被頭發遮擋，構成左眼的關鍵點明顯不可見，如果按照現有的方案識別出的關鍵點，則由于無法確定關鍵點是否可見，故在自動化妝時仍然會給左眼上妝(眼影和美瞳等)，從而造成在頭發上面出現妝容，影響用戶體驗。

因此，如何提高定位出的人臉的關鍵點的準確性以及確定定位出的關鍵點是否可見是首要考慮的問題之一。

發明內容

本發明實施例提供一種人臉關鍵點的定位方法、人臉圖像處理方法和相關裝置，用以提高定位出的人臉的關鍵點的準確性以及確定定位出的關鍵點的可見性。

一方面，本發明實施例提供一種人臉關鍵點的定位方法，包括：

獲取人臉圖像，并根據所述人臉圖像和訓練得到的人臉配準模型，確定人臉的關鍵點的位置信息及各個關鍵點是否可見的結果；

分別確定人臉的各個特征部位中可見的關鍵點的數量；

針對每一特征部位，若該特征部位中可見的關鍵點的數量大于預設數量閾值，則提取僅包含該特征部位的特征部位圖像；

根據該特征部位的特征部位圖像和該特征部位對應的特征部位配準模型，修正該特征部位的關鍵點的位置信息；

基于修正的各個特征部位的關鍵點的位置信息，更新基于人臉配準模型確定出的人臉的關鍵點的位置信息。

采用上述方法，大大提高了定位出人臉的關鍵點的位置信息的準確性。

另一方面，本發明實施例提供一種人臉圖像處理方法，包括：

采用本發明實施例提供的人臉關鍵點的定位方法，從人臉圖像中定位人臉的關鍵點的位置信息和確定關鍵點是否可見的結果；

基于定位出的關鍵點的位置信息和關鍵點是否可見的結果，對人臉圖像進行處理。