[發明專利]人臉圖像處理方法、裝置和電子設備

在審

• 申請號: 202110475720.3
• 申請日: 2017-08-09
• 公開（公告）號: CN113205040A
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 錢晨;王權;王飛
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 吳迪

本申請實施方式公開了一種人臉圖像處理方法、裝置、電子設備以及計算機可讀介質，其中的方法主要包括：對待處理圖像進行人臉切割處理，得到人臉的至少一個器官圖像塊；將所述至少一個器官圖像塊分別輸入到對應的第一神經網絡，得到所述第一神經網絡分別提取的對應器官的多個關鍵點信息；其中，至少兩個不同類別的器官對應不同的第一神經網絡；基于所述至少一個器官分別對應的多個關鍵點信息，確定所述至少一個器官分別對應的軌跡信息或擬合線信息。

技術領域

本申請涉及計算機視覺技術，尤其是涉及一種人臉圖像處理方法、介 質、人臉圖像處理裝置以及電子設備。

背景技術

人臉關鍵點是人臉識別等諸多應用中不可或缺的一部分。準確的確定出 人臉關鍵點，不僅有利于對人臉的相關位置進行矯正，而且有利于增強人臉 的語義信息。

發明內容

本申請實施方式提供一種人臉圖像處理技術方案。

根據本申請實施方式其中一個方面，提供了一種人臉圖像處理方法，該 方法主要包括：切割待處理圖像中的人臉的至少一個器官圖像塊；將所述至 少一個器官圖像塊分別輸入到至少一個第一神經網絡，其中，至少兩個不同 類別的器官對應不同的第一神經網絡；經所述至少一個第一神經網絡分別提 取各自輸入的器官圖像塊的器官的關鍵點信息，分別得到人臉的各相應器官 的關鍵點信息。

在本發明一個實施方式中，所述方法還包括：獲取所述待處理圖像的初 始人臉關鍵點信息；整合所述初始人臉關鍵點信息和所述各相應器官的關鍵 點信息，獲得所述待處理圖像的人臉關鍵點信息。

在本發明又一個實施方式中，所述切割待處理圖像中的人臉的至少一個 器官圖像塊包括：獲取所述待處理圖像的初始人臉關鍵點信息；根據所述初 始人臉關鍵點信息切割所述待處理圖像中的人臉的至少一個器官圖像塊。

在本發明再一個實施方式中，所述獲取所述待處理圖像的初始人臉關鍵 點信息，包括：將所述待處理圖像輸入第二神經網絡；經所述第二神經網絡 提取所述待處理圖像的人臉關鍵點信息，得到所述初始人臉關鍵點信息。

在本發明再一個實施方式中，所述整合所述初始人臉關鍵點信息和所述 各相應器官的關鍵點信息，獲得所述待處理圖像的人臉關鍵點信息包括：采 用所述各相應器官的關鍵點信息替換所述初始人臉關鍵點中的相同器官的至 少部分關鍵點信息，獲得所述待處理圖像的人臉關鍵點信息。

在本發明再一個實施方式中，所述整合所述初始人臉關鍵點信息和所述 各相應器官的關鍵點信息，獲得所述待處理圖像的人臉關鍵點信息包括：將 所述各相應器官的關鍵點信息在相應器官圖像塊中的位置和編號，分別轉換 為所述各相應器官的關鍵點信息在待處理圖像中的位置和編號。

在本發明再一個實施方式中，所述人臉關鍵點信息包括的關鍵點總數 量，大于所述初始人臉關鍵點信息包括的關鍵點總數量；和/或所述人臉關鍵 點信息包括的經第一神經網絡提取的一器官圖像塊的器官關鍵點的數量，大 于所述初始人臉關鍵點信息包括的對應器官圖像塊的器官關鍵點的數量。

在本發明再一個實施方式中，所述經第一神經網絡提取的一器官圖像塊 的各器官關鍵點擬合而得的器官曲線的誤差度，為經所述初始人臉關鍵點信 息中包括的對應所述器官圖像塊的各器官關鍵點擬合而得的器官曲線的誤差 度的1/5—1/10。

在本發明再一個實施方式中，所述至少一個器官圖像塊包括以下至少之 一：至少一眼部圖像塊、至少一嘴部圖像塊。

在本發明再一個實施方式中，所述各相應器官的關鍵點信息包括以下至 少之一：眼瞼線信息、嘴唇線信息。

在本發明再一個實施方式中，所述眼瞼線信息包括：由單眼上眼瞼或下 眼瞼處的10-15個關鍵點表示的軌跡信息或擬合線；和/或，所述唇線信息包 括：由單唇上下輪廓處各自的16-21個關鍵點表示的軌跡信息或擬合線。