[發(fā)明專利]視頻中人臉性別變換方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910918051.5
• 申請(qǐng)日: 2019-09-26
• 公開（公告）號(hào): CN110688948B
• 公開（公告）日: 2022-11-15
• 發(fā)明（設(shè)計(jì)）人: 常元章;姚錕;李世虎;楊少雄;王從語;洪智濱;張演龍;肖月;閆祥達(dá);趙晨;韓鈞宇;馬曉昕;趙輝;劉經(jīng)拓
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/75;G06T3/00
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 王艷斌

本申請(qǐng)公開了視頻中人臉性別變換方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，涉及圖像處理和終端技術(shù)領(lǐng)域。具體實(shí)現(xiàn)方案為：在確定視頻的第一幀圖像中包含目標(biāo)人臉時(shí)，對(duì)第一幀圖像進(jìn)行關(guān)鍵點(diǎn)提取，確定第一幀圖像對(duì)應(yīng)的關(guān)鍵點(diǎn)集；若參考人臉庫中包含與目標(biāo)人臉匹配的參考人臉，則向圖形處理器發(fā)送性別變換指令，性別變換指令中包括參考人臉對(duì)應(yīng)的性別變換模式、第一幀圖像及關(guān)鍵點(diǎn)集，以使圖形處理器依據(jù)參考人臉對(duì)應(yīng)的性別變換模式，利用關(guān)鍵點(diǎn)集對(duì)第一幀圖像中的目標(biāo)人臉進(jìn)行性別變換，其中，參考人臉庫中包括已經(jīng)完成性別變換的人臉圖像及對(duì)應(yīng)的性別變換模式；獲取圖形處理器返回的性別變換后的第二幀圖像。該方案能夠保證處理后的視頻畫面幀的連續(xù)性較佳。并且，可以實(shí)現(xiàn)對(duì)視頻中的人臉進(jìn)行實(shí)時(shí)處理，改善用戶的使用體驗(yàn)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及圖像處理和終端技術(shù)領(lǐng)域，尤其涉及一種視頻中人臉性別變換方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

目前，短視頻類、視頻直播類的應(yīng)用(Application，簡(jiǎn)稱APP)受到越來越多用戶的廣泛使用。在這些應(yīng)用中，與人臉相關(guān)的交互類應(yīng)用占比很大，諸如人臉美妝(加眼影、腮紅、唇彩、假睫毛等)、人臉的精準(zhǔn)塑形(修改人臉全部或者局部五官的位置、形狀)、人臉相關(guān)的2D/3D貼紙道具、人臉表情促發(fā)特效動(dòng)畫、視頻內(nèi)的多人換臉等等。

相關(guān)技術(shù)中，人臉圖像性別變換處理方式，主要是通過采用神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)的。這種方式下，計(jì)算量較大，處理速度慢、且對(duì)視頻數(shù)據(jù)進(jìn)行處理時(shí)，當(dāng)相鄰幀圖像間差異較大時(shí)，得到的處理后的圖像連續(xù)性較差。

發(fā)明內(nèi)容

本申請(qǐng)旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。

本申請(qǐng)?zhí)岢鲆环N視頻中人臉性別變換方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，以實(shí)現(xiàn)保證處理后的視頻畫面幀的連續(xù)性較佳，并且，可以實(shí)現(xiàn)對(duì)視頻中的人臉進(jìn)行實(shí)時(shí)處理，改善用戶的使用體驗(yàn)。

本申請(qǐng)第一方面實(shí)施例提出了一種視頻中人臉性別變換方法，包括：

在確定視頻的第一幀圖像中包含目標(biāo)人臉時(shí)，對(duì)所述第一幀圖像進(jìn)行關(guān)鍵點(diǎn)提取，確定所述第一幀圖像對(duì)應(yīng)的關(guān)鍵點(diǎn)集；

若參考人臉庫中包含與所述目標(biāo)人臉匹配的參考人臉，則向圖形處理器發(fā)送性別變換指令，所述性別變換指令中包括所述參考人臉對(duì)應(yīng)的性別變換模式、所述第一幀圖像及所述關(guān)鍵點(diǎn)集，以使所述圖形處理器依據(jù)所述參考人臉對(duì)應(yīng)的性別變換模式，利用所述關(guān)鍵點(diǎn)集對(duì)所述第一幀圖像中的目標(biāo)人臉進(jìn)行性別變換，其中，參考人臉庫中包括已經(jīng)完成性別變換的人臉圖像及對(duì)應(yīng)的性別變換模式；

獲取所述圖形處理器返回的性別變換后的第二幀圖像。

本申請(qǐng)第二方面實(shí)施例提出了另一種視頻中人臉性別變換方法，包括：

獲取中央處理器發(fā)送的性別變換指令，其中，所述性別變換指令中包括第一幀圖像及對(duì)應(yīng)的關(guān)鍵點(diǎn)集；

若所述性別變換指令中包括三角剖分模式，則依據(jù)所述三角剖分模式，根據(jù)所述關(guān)鍵點(diǎn)集將所述第一幀圖像進(jìn)行三角剖分，確定所述第一幀圖像中的各人臉關(guān)鍵區(qū)域；

根據(jù)所述性別變換指令中的目標(biāo)性別變換模式，將各人臉關(guān)鍵區(qū)域進(jìn)行特征調(diào)整處理，以生成人臉性別變換后的第二幀圖像；

將所述第二幀圖像返回給所述中央處理器。

本申請(qǐng)第三方面實(shí)施例提出了一種視頻中人臉性別變換裝置，包括：

提取模塊，用于在確定視頻的第一幀圖像中包含目標(biāo)人臉時(shí)，對(duì)所述第一幀圖像進(jìn)行關(guān)鍵點(diǎn)提取，確定所述第一幀圖像對(duì)應(yīng)的關(guān)鍵點(diǎn)集；