[發(fā)明專利]圖像特征遷移方法、裝置、存儲介質(zhì)及終端設(shè)備

有效

• 申請?zhí)枺?/td>: 202111107780.6
• 申請日: 2021-09-22
• 公開（公告）號: CN113838166B
• 公開（公告）日: 2023-08-29
• 發(fā)明（設(shè)計）人: 唐吉霖;袁燚;胡志鵬
• 申請（專利權(quán)）人: 網(wǎng)易（杭州）網(wǎng)絡(luò)有限公司
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06T7/11;G06T7/44;G06V10/46;G06V20/70;G06V10/54;G06V10/778;G06V10/82
• 代理公司: 深圳紫藤知識產(chǎn)權(quán)代理有限公司 44570
• 代理人: 汪阮磊

本申請實施例提供一種圖像特征遷移方法、裝置、存儲介質(zhì)及終端設(shè)備，該方法包括：通過獲取源人體圖像和目標(biāo)人體姿態(tài)圖；構(gòu)建與目標(biāo)人體姿態(tài)圖的目標(biāo)人體語義分割圖及目標(biāo)人體姿態(tài)特征圖；從源人體圖像中提取出源人體紋理特征；獲取源所述人體圖像的各個關(guān)鍵區(qū)域的紋理特征編碼；將各個關(guān)鍵區(qū)域的紋理特征編碼分別轉(zhuǎn)化成對應(yīng)的權(quán)重參數(shù)；通過分區(qū)域卷積操作將源人體圖像的源人體紋理特征遷移至目標(biāo)人體姿態(tài)特征圖得到目標(biāo)特征圖；對目標(biāo)特征圖進行解碼操作得到目標(biāo)人體圖像。本申請實施例提高了外觀特征提取的有效性和針對性，減少無關(guān)因素的干擾，使得完成動作遷移的目標(biāo)人體圖像能夠清晰有效還原源人體圖像的外觀特征。

技術(shù)領(lǐng)域

本申請涉及電子通信技術(shù)領(lǐng)域，尤其涉及一種圖像特征遷移技術(shù)領(lǐng)域，特別涉及一種圖像特征遷移方法、裝置、存儲介質(zhì)及終端設(shè)備。

背景技術(shù)

動作遷移技術(shù)是一種將源輸入圖片中的人體圖像變換為目標(biāo)動作姿態(tài)的技術(shù)。給定源人體圖像和目標(biāo)人體姿態(tài)便能夠?qū)⒃慈梭w圖像的外觀特征遷移到包含目標(biāo)人體姿態(tài)的圖像上。該技術(shù)旨在生成目標(biāo)姿態(tài)下的真實、自然的人物圖像，同時保持源人物圖像原有的外觀特征。

目前的動作遷移技術(shù)大多基于動作遷移模型實現(xiàn)，動作遷移模型主要分為語義分割圖生成器和人體圖像生成器兩個部分。但是，目前利用動作遷移模型在進行提取人體圖像外觀特征的過程中，沒有充分地考慮圖像紋理內(nèi)在、固有的視覺屬性，難以獲得有效的外觀特征，容易受到形狀等無關(guān)因素的干擾，導(dǎo)致最終完成動作遷移的目標(biāo)人體圖像不能有效還原源人體圖像的外觀特征，或者出現(xiàn)目標(biāo)人體圖像的關(guān)鍵區(qū)域顯示不清晰等情況。

發(fā)明內(nèi)容

本申請實施例提供一種圖像特征遷移方法、裝置、存儲介質(zhì)及終端設(shè)備，能夠提高外觀特征提取的有效性和針對性，減少了其他無關(guān)因素的干擾，使得完成動作遷移的目標(biāo)人體圖像能夠清晰有效還原源人體圖像的外觀特征。

本申請實施例一方面提供了一種圖像特征遷移方法，包括：

獲取源人體圖像和目標(biāo)人體姿態(tài)圖；

基于所述源人體圖像和目標(biāo)人體姿態(tài)圖，構(gòu)建與所述目標(biāo)人體姿態(tài)圖對應(yīng)的目標(biāo)人體語義分割圖及目標(biāo)人體姿態(tài)特征圖；

從所述源人體圖像中提取出源人體紋理特征；

從所述源人體紋理特征中獲取源所述人體圖像的各個關(guān)鍵區(qū)域的紋理特征編碼；

將所述各個關(guān)鍵區(qū)域的紋理特征編碼分別轉(zhuǎn)化成對應(yīng)的權(quán)重參數(shù)；

利用所述各個關(guān)鍵區(qū)域?qū)?yīng)的權(quán)重參數(shù)，通過分區(qū)域卷積操作，將所述源人體圖像的源人體紋理特征遷移至所述目標(biāo)人體姿態(tài)特征圖的相應(yīng)位置，得到目標(biāo)特征圖；

對所述目標(biāo)特征圖進行解碼操作，得到結(jié)合所述源人體紋理特征和目標(biāo)人體姿態(tài)圖的目標(biāo)人體圖像。

在本申請實施例所述的圖像特征遷移方法中，所述利用所述各個關(guān)鍵區(qū)域?qū)?yīng)的權(quán)重參數(shù)，通過分區(qū)域卷積操作，將所述源人體圖像的源人體紋理特征遷移至所述目標(biāo)人體姿態(tài)特征圖的相應(yīng)位置，得到目標(biāo)特征圖，包括：

從所述源人體圖像中提取出源人體語義分割圖；

基于所述目標(biāo)人體語義分割圖，利用所述源人體圖像的各個關(guān)鍵區(qū)域的紋理特征編碼和對應(yīng)的權(quán)重參數(shù)，分別在所述目標(biāo)人體姿態(tài)特征圖上與各個關(guān)鍵區(qū)域?qū)?yīng)的區(qū)域進行分區(qū)域卷積操作，以得到將所述源人體圖像的源人體紋理特征遷移至所述目標(biāo)人體姿態(tài)特征圖相應(yīng)位置的目標(biāo)特征圖。

在本申請實施例所述的圖像特征遷移方法中，所述從所述源人體紋理特征中獲取所述源人體圖像的各個關(guān)鍵區(qū)域的紋理特征編碼，包括：

使用空間逐點相乘法對所述源人體紋理特征中各關(guān)鍵區(qū)域的人體紋理特征進行處理，得到所述各個關(guān)鍵區(qū)域的原始紋理特征；