[發明專利]人臉換臉方法、裝置、設備及計算機存儲介質

在審

• 申請號: 201910344673.1
• 申請日: 2019-04-26
• 公開（公告）號: CN111860045A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 張濤;覃威寧;王山虎;鄭天祥;周潤楠;文建華;唐杰
• 申請（專利權）人: 北京陌陌信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T5/00;G06T5/50;G06T7/00
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 彭瓊

本發明公開了一種人臉換臉方法、裝置、設備及計算機存儲介質，該方法包括：獲得第一人臉圖像和第二人臉圖像；識別第二人臉圖像中的關鍵點，提取關鍵點圈定的區域的框圖，得到第一表情姿態圖；提取第二人臉圖像中的光照信息，得到第一光照條件圖；將第一表情姿態圖、第一光照條件圖和第一人臉圖像輸入生成式對抗網絡GAN模型，得到將第一表情姿態圖、第一光照條件圖與第一人臉圖像融合后的換臉圖像。根據本發明實施例，能夠通過剝離目標人臉上的表情以及光照信息來進行換臉操作，提高人臉換臉的自然程度。

技術領域

本發明屬于圖像處理技術領域，尤其涉及一種人臉換臉方法、裝置、設備及計算機存儲介質。

背景技術

隨著網絡的發展，大眾娛樂性質的社交軟件不斷增多，在許多具有直播、視頻拍攝以及圖像編輯等功能的社交軟件中，人臉交換逐漸成為大眾娛樂的新熱點，具備了越來越廣泛的應用場景。人臉交換或者說換臉技術，指的是在圖像或者視頻中將一個人的臉換成另一個人的臉。

但是，目前的換臉技術中，將人臉進行交換后得到的圖像或者視頻中，存在人臉的表情和光影不自然的情況，影響了人臉換臉的效果。并且，由于目前的換臉技術中，想要對人臉的表情和光照進行調整，需要分別設置不同的網絡模型，使得最終得到的換臉結果與原始圖像之間的失真較大，換臉效果不自然。

發明內容

本發明實施例提供一種人臉換臉方法、裝置、設備及計算機存儲介質，能夠通過剝離目標人臉上的表情以及光照信息來進行換臉操作，提高人臉換臉的自然程度。

一方面，本發明實施例提供一種人臉換臉方法，方法包括：

獲得第一人臉圖像和第二人臉圖像；

識別第二人臉圖像中的關鍵點，提取關鍵點圈定的區域的框圖，得到第一表情姿態圖；

提取第二人臉圖像中的光照信息，得到第一光照條件圖；

將第一表情姿態圖、第一光照條件圖和第一人臉圖像輸入生成式對抗網絡GAN模型，得到將第一表情姿態圖、第一光照條件圖與第一人臉圖像融合后的換臉圖像。

另一方面，本發明實施例提供了一種人臉換臉裝置，裝置包括：

圖像獲得模塊，用于獲得第一人臉圖像和第二人臉圖像；

表情提取模塊，用于識別第二人臉圖像中的關鍵點，提取關鍵點圈定的區域的框圖，得到第一表情姿態圖；

光照提取模塊，用于提取第二人臉圖像中的光照信息，得到第一光照條件圖；

融合模塊，用于將第一表情姿態圖、第一光照條件圖和第一人臉圖像輸入生成式對抗網絡GAN模型，得到將第一表情姿態圖、第一光照條件圖與第一人臉圖像融合后的換臉圖像。

再一方面，本發明實施例提供了一種人臉換臉設備，設備包括：

處理器以及存儲有計算機程序指令的存儲器；

處理器執行計算機程序指令時實現如以上任意一項的在人臉換臉方法。

再一方面，本發明實施例提供了一種計算機存儲介質，計算機存儲介質上存儲有計算機程序指令，計算機程序指令被處理器執行時實現如以上任意一項的人臉換臉方法。