[發(fā)明專利]人臉換臉方法、裝置、設(shè)備及計(jì)算機(jī)存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 201910344573.9
• 申請日: 2019-04-26
• 公開（公告）號: CN111860044A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 覃威寧;鄭天祥;周潤楠;王山虎;張濤;唐杰
• 申請（專利權(quán)）人: 北京陌陌信息技術(shù)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T3/00
• 代理公司: 北京東方億思知識產(chǎn)權(quán)代理有限責(zé)任公司 11258
• 代理人: 彭瓊

本發(fā)明公開了一種人臉換臉方法、裝置、設(shè)備及計(jì)算機(jī)存儲(chǔ)介質(zhì)。所述方法包括：獲得第一人臉圖像和第二人臉圖像；識別第二人臉圖像中的關(guān)鍵點(diǎn)，提取關(guān)鍵點(diǎn)圈定的區(qū)域的框圖，得到第一表情姿態(tài)圖；將第一表情姿態(tài)圖與第一人臉圖像輸入生成式對抗網(wǎng)絡(luò)GAN模型，得到將第一表情姿態(tài)圖與第一人臉圖像融合后的換臉圖像。根據(jù)本發(fā)明實(shí)施例，能夠通過剝離目標(biāo)人臉上的表情來進(jìn)行換臉操作，提高人臉換臉的自然程度。本發(fā)明還公開了一種基于上述方法的裝置、設(shè)備及計(jì)算機(jī)存儲(chǔ)介質(zhì)。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種人臉換臉方法、裝置、設(shè)備及計(jì)算機(jī)存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著網(wǎng)絡(luò)的發(fā)展，大眾娛樂性質(zhì)的社交軟件不斷增多，在許多具有直播、視頻拍攝以及圖像編輯等功能的社交軟件中，人臉交換逐漸成為大眾娛樂的新熱點(diǎn)，具備了越來越廣泛的應(yīng)用場景。人臉交換或者說換臉技術(shù)，指的是在圖像或者視頻中將一個(gè)人的臉換成另一個(gè)人的臉。

但是，目前的換臉技術(shù)中，將人臉進(jìn)行交換后得到的圖像或者視頻中，存在人臉的表情不自然的情況，影響了人臉換臉的效果。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種人臉換臉方法、裝置、設(shè)備及計(jì)算機(jī)存儲(chǔ)介質(zhì)，能夠通過剝離目標(biāo)人臉上的表情來進(jìn)行換臉操作，提高人臉換臉的自然程度。

一方面，本發(fā)明實(shí)施例提供一種人臉換臉方法，方法包括：

獲得第一人臉圖像和第二人臉圖像；

識別第二人臉圖像中的關(guān)鍵點(diǎn)，提取關(guān)鍵點(diǎn)圈定的區(qū)域的框圖，得到第一表情姿態(tài)圖；

將第一表情姿態(tài)圖與第一人臉圖像輸入生成式對抗網(wǎng)絡(luò)GAN模型，得到將第一表情姿態(tài)圖與第一人臉圖像融合后的換臉圖像。

另一方面，本發(fā)明實(shí)施例提供了一種人臉換臉裝置，裝置包括：

圖像獲得模塊，用于獲得第一人臉圖像和第二人臉圖像；

表情提取模塊，用于識別第二人臉圖像中的關(guān)鍵點(diǎn)，提取關(guān)鍵點(diǎn)圈定的區(qū)域的框圖，得到第一表情姿態(tài)圖；

表情融合模塊，用于將第一表情姿態(tài)圖與第一人臉圖像輸入生成式對抗網(wǎng)絡(luò)GAN模型，得到將第一表情姿態(tài)圖與第一人臉圖像融合后的換臉圖像。

再一方面，本發(fā)明實(shí)施例提供了一種人臉換臉設(shè)備，設(shè)備包括：

處理器以及存儲(chǔ)有計(jì)算機(jī)程序指令的存儲(chǔ)器；

處理器執(zhí)行計(jì)算機(jī)程序指令時(shí)實(shí)現(xiàn)如以上任意一項(xiàng)的在人臉換臉方法。

再一方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，計(jì)算機(jī)存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序指令，計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如以上任意一項(xiàng)的人臉換臉方法。

本發(fā)明實(shí)施例的人臉換臉方法、裝置、設(shè)備及計(jì)算機(jī)存儲(chǔ)介質(zhì)，能夠?qū)⒈惶鎿Q的第二人臉圖像中的關(guān)鍵點(diǎn)圈定的區(qū)域的框圖進(jìn)行提取，得到第一表情姿態(tài)圖，因此該第一表情姿態(tài)圖內(nèi)僅包含第二人臉圖像中關(guān)鍵部位的表情信息；之后將第一表情姿態(tài)圖和第一人臉圖像輸入訓(xùn)練好的GAN網(wǎng)絡(luò)進(jìn)行融合，即可得到將第一表情姿態(tài)圖與第一人臉圖像融合后的換臉圖像。此時(shí)該換臉圖像即為使用第一人臉圖像替換第二人臉圖像后的結(jié)果圖。由于在本發(fā)明中，單獨(dú)將第二人臉圖像中的表情信息進(jìn)行了提取，而表情信息除了能夠反映人臉的表情之外，還可以反映人臉的姿態(tài)角度，因此之后直接將第一人臉圖像按照所提取出來的第一表情姿態(tài)圖進(jìn)行調(diào)整，即可得到具有第二人臉圖像表情和姿態(tài)的自然的換臉圖像，盡可能提高了換臉后人物表情和姿態(tài)的自然程度，換臉效果更好。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對本發(fā)明實(shí)施例中所需要使用的附圖作簡單的介紹，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。