[發(fā)明專利]人臉換臉方法、裝置、設備及計算機存儲介質

在審

• 申請?zhí)枺?/td>: 201910344673.1
• 申請日: 2019-04-26
• 公開（公告）號: CN111860045A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設計）人: 張濤;覃威寧;王山虎;鄭天祥;周潤楠;文建華;唐杰
• 申請（專利權）人: 北京陌陌信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T5/00;G06T5/50;G06T7/00
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 彭瓊

1.一種人臉換臉方法，其特征在于，包括：

獲得第一人臉圖像和第二人臉圖像；

識別所述第二人臉圖像中的關鍵點，提取所述關鍵點圈定的區(qū)域的框圖，得到第一表情姿態(tài)圖；

提取所述第二人臉圖像中的光照信息，得到第一光照條件圖；

將所述第一表情姿態(tài)圖、所述第一光照條件圖和所述第一人臉圖像輸入生成式對抗網絡GAN模型，得到將所述第一表情姿態(tài)圖、第一光照條件圖與所述第一人臉圖像融合后的換臉圖像。

2.根據(jù)權利要求1所述的人臉換臉方法，其特征在于，所述提取所述關鍵點圈定的區(qū)域的框圖的過程，包括：

提取并連接各個所述關鍵點，得到所述關鍵點組成的若干個封閉圖形；

使用第一預設顏色填充所述封閉圖形，得到所述第一表情姿態(tài)圖。

3.根據(jù)權利要求2所述的人臉換臉方法，其特征在于，若兩個所述封閉圖形的位置對稱，則分別采用不同的顏色填充上述兩個封閉圖形。

4.根據(jù)權利要求1所述的人臉換臉方法，其特征在于，所述提取所述第二人臉圖像中的光照信息，得到第一光照條件圖的過程包括：

對所述第二人臉圖像進行模糊處理，得到所述第一光照條件圖。

5.根據(jù)權利要求1所述的人臉換臉方法，其特征在于，所述提取所述第二人臉圖像中的光照信息，得到第一光照條件圖的過程包括：

將所述第二人臉圖像的五官摳除，并用第二預設顏色填充五官所在區(qū)域；

使用所述第二人臉圖像中臉頰處的光照填充上述顏色填充完成后的所述五官所在區(qū)域，得到第三人臉圖像；

對所述第三人臉圖像進行模糊處理，得到所述第一光照條件圖。

6.根據(jù)權利要求1所述的人臉換臉方法，其特征在于，所述GAN網絡的訓練過程包括：

選擇屬于同一人的兩張人臉圖像分別作為第四人臉圖像和第五人臉圖像；

識別所述第五人臉圖像中的關鍵點，提取所述關鍵點圈定的區(qū)域的框圖，得到第二表情姿態(tài)圖；

提取所述第五人臉圖像中的光照信息，得到第二光照條件圖；

將所述第二表情姿態(tài)圖、所述第二光照條件圖與所述第四人臉圖像輸入待訓練的GAN網絡內，得到第六人臉圖像；

將所述第六人臉圖像與所述第五人臉圖像進行比對，依據(jù)比對誤差調整所述GAN網絡的內部參數(shù)；

選擇不同的人臉圖像，重復上述操作，直至得到的比對誤差滿足預設誤差要求，得到所述GAN模型。

7.根據(jù)權利要求6所述的人臉換臉方法，其特征在于，所述得到第六人臉圖像之后，選擇不同的人臉圖像之前，所述GAN網絡的訓練過程，還包括：

將所述第六人臉圖像與所述第四人臉圖像進行特征映射人臉識別，依據(jù)識別結果調整所述GAN網絡的內部參數(shù)。

8.一種人臉換臉裝置，其特征在于，所述裝置包括：

圖像獲得模塊，用于獲得第一人臉圖像和第二人臉圖像；

表情提取模塊，用于識別所述第二人臉圖像中的關鍵點，提取所述關鍵點圈定的區(qū)域的框圖，得到第一表情姿態(tài)圖；

光照提取模塊，用于提取所述第二人臉圖像中的光照信息，得到第一光照條件圖；

融合模塊，用于將所述第一表情姿態(tài)圖、所述第一光照條件圖和所述第一人臉圖像輸入生成式對抗網絡GAN模型，得到將所述第一表情姿態(tài)圖、第一光照條件圖與所述第一人臉圖像融合后的換臉圖像。

9.一種人臉換臉設備，其特征在于，所述設備包括：處理器以及存儲有計算機程序指令的存儲器；

所述處理器執(zhí)行所述計算機程序指令時實現(xiàn)如權利要求1-7任意一項所述的在人臉換臉方法。

10.一種計算機存儲介質，其特征在于，所述計算機存儲介質上存儲有計算機程序指令，所述計算機程序指令被處理器執(zhí)行時實現(xiàn)如權利要求1-7任意一項所述的人臉換臉方法。