[發(fā)明專利]人臉影像處理方法和裝置、存儲介質(zhì)和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202010832741.1
• 申請日: 2020-08-18
• 公開（公告）號: CN111967397A
• 公開（公告）日: 2020-11-20
• 發(fā)明（設(shè)計）人: 李潤祥;李嘯
• 申請（專利權(quán)）人: 北京字節(jié)跳動網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京英創(chuàng)嘉友知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 王曉霞

1.一種人臉影像處理方法，其特征在于，所述方法包括：

獲取用戶上傳或拍攝的影像信息；

從所述影像信息獲取目標(biāo)人臉信息，所述目標(biāo)人臉信息為目標(biāo)人臉圖像的五官幾何特征以及人臉圖像的五官視覺特征中的任一者；

將所述目標(biāo)人臉信息與待融合的人臉模板信息進(jìn)行融合，得到新的人臉圖像；

顯示包括所述新的人臉圖像的影像信息；

其中，在所述目標(biāo)人臉信息為所述目標(biāo)人臉圖像的五官幾何特征的情況下，所述人臉模板信息包括人臉模板的非人臉區(qū)域以及人臉模板的五官視覺特征，在所述目標(biāo)人臉信息為所述目標(biāo)人臉圖像的五官視覺特征的情況下，所述人臉模板信息包括人臉模板的非人臉區(qū)域以及人臉模板的五官幾何特征。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述人臉模板信息是數(shù)據(jù)庫中預(yù)存的，或者是從用戶上傳或拍攝的人臉圖像模板中提取得到的。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述將所述目標(biāo)人臉信息與待融合的人臉模板信息進(jìn)行融合之前，所述方法還包括：

響應(yīng)于用戶的融合操作，展示多個人臉模板信息；

響應(yīng)于用戶的選擇操作，從所述多個人臉模板信息中確定所述待融合的人臉模板信息。

4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其特征在于，所述從所述影像信息獲取目標(biāo)人臉信息，包括：

響應(yīng)于用戶的選擇第一融合方式的操作，從所述影像信息獲取人臉圖像的五官幾何特征；

所述將所述目標(biāo)人臉信息與待融合的人臉模板信息進(jìn)行融合，包括：

將所述人臉圖像的五官幾何特征與人臉模板的非人臉區(qū)域以及所述人臉模板的五官視覺特征融合。

5.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其特征在于，所述從所述影像信息獲取目標(biāo)人臉信息，包括：

響應(yīng)于用戶的選擇第二融合方式的操作，從所述影像信息獲取人臉圖像的五官視覺特征；

所述將所述目標(biāo)人臉信息與待融合的人臉模板信息進(jìn)行融合，包括：

將所述人臉圖像的五官視覺特征與人臉模板的非人臉區(qū)域以及所述人臉模板的五官幾何特征融合。

6.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其特征在于，所述影像信息是實(shí)時拍攝的視頻影像信息，所述方法還包括：

通過實(shí)時重建模型執(zhí)行所述從所述影像信息獲取目標(biāo)人臉信息的步驟以及所述將所述目標(biāo)人臉信息與待融合的人臉模板信息進(jìn)行融合的步驟。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述實(shí)時重建模型包括編解碼網(wǎng)絡(luò)和生成網(wǎng)絡(luò)，所述從所述影像信息獲取目標(biāo)人臉信息，包括：

通過所述編解碼網(wǎng)絡(luò)生成所述目標(biāo)人臉圖像對應(yīng)的人臉外觀編碼和人臉幾何編碼，對所述人臉外觀編碼進(jìn)行解碼得到五官視覺特征，對所述人臉幾何編碼進(jìn)行解碼得到五官幾何特征；

將所述五官視覺特征或者所述五官幾何特征作為所述目標(biāo)人臉信息；

所述將所述目標(biāo)人臉信息與待融合的人臉模板信息進(jìn)行融合，包括：

通過所述生成網(wǎng)絡(luò)對所述目標(biāo)人臉信息以及所述人臉模板信息進(jìn)行融合，得到所述新的人臉圖像。

8.一種人臉影像處理裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取用戶上傳或拍攝的影像信息；

提取模塊，用于從所述影像信息獲取目標(biāo)人臉信息，所述目標(biāo)人臉信息為目標(biāo)人臉圖像的五官幾何特征以及人臉圖像的五官視覺特征中的任一者；

融合模塊，用于將所述目標(biāo)人臉信息與待融合的人臉模板信息進(jìn)行融合，得到新的人臉圖像；

顯示模塊，用于顯示包括所述新的人臉圖像的影像信息；

其中，在所述目標(biāo)人臉信息為所述目標(biāo)人臉圖像的五官幾何特征的情況下，所述人臉模板信息包括人臉模板的非人臉區(qū)域以及人臉模板的五官視覺特征，在所述目標(biāo)人臉信息為所述目標(biāo)人臉圖像的五官視覺特征的情況下，所述人臉模板信息包括人臉模板的非人臉區(qū)域以及人臉模板的五官幾何特征。