[發(fā)明專利]一種基于人體動作遷移的卡通定制形象運(yùn)動視頻生成方法

有效

• 申請?zhí)枺?/td>: 202010361432.0
• 申請日: 2020-04-30
• 公開（公告）號: CN111611997B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 紀(jì)剛;周萌萌;周亞敏
• 申請（專利權(quán)）人: 青島聯(lián)合創(chuàng)智科技有限公司
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06T13/80;G06T7/136;G06T7/13;G06N3/0464;G06V10/762;G06V10/82
• 代理公司: 青島華慧澤專利代理事務(wù)所(普通合伙) 37247
• 代理人: 劉娜

本發(fā)明公開了一種基于人體動作遷移的卡通定制形象運(yùn)動視頻生成方法，包括如下步驟：步驟一，檢測視頻中每幀圖像的源對象回歸框，并通過對抗生成網(wǎng)絡(luò)修正源對象回歸框，得到源對象修正回歸框；步驟二，提取視頻中每幀圖像的源對象修正回歸框的2D姿態(tài)；步驟三，根據(jù)2D姿態(tài)獲取SMPL模板模型，并根據(jù)自動化閾值分割原理得到定制形象的輪廓掩膜；步驟四，根據(jù)定制形象的輪廓掩膜將SMPL模板模型進(jìn)行重構(gòu)整合，最終生成定制形象的2D運(yùn)動視頻。本發(fā)明所公開的方法能夠直接從源對象動作和選定的定制形象生成定制形象運(yùn)動視頻，無需做全局標(biāo)準(zhǔn)化和圖像映射，生成的定制形象生動且具有連續(xù)性外觀，無需擔(dān)心由生成器原因?qū)е碌耐庥^不連續(xù)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像檢測跟蹤與重構(gòu)卡通形象技術(shù)領(lǐng)域，特別涉及一種基于人體動作遷移的卡通定制形象運(yùn)動視頻生成方法。

背景技術(shù)

目前對定制卡通形象(定制形象)生成卡通視頻的方法分為借助專業(yè)軟件如live2D進(jìn)行手工繪制的方法和基于圖像算法自動將人體動作重構(gòu)為定制卡通的方法。其中，手工繪制方法由于其專業(yè)性強(qiáng)、難度系數(shù)大、制作成分高的特點(diǎn)，很難普及；基于人體動作遷移自動生成的技術(shù)，主要包括：

(1)基于姿態(tài)估計(jì)的標(biāo)準(zhǔn)化圖像轉(zhuǎn)換算法，例如論文Everybody?Dance?Now[J].Caroline?Chan?Etc.,2018中提到人體動作遷移方法，即一種簡單的“按我做”動作轉(zhuǎn)移方法，給定源對象跳舞動作的視頻，算法可以將該表演轉(zhuǎn)移到指定定制形象上。該算法首先采用openpose姿態(tài)檢測；然后采用全局姿態(tài)標(biāo)準(zhǔn)化，即根據(jù)遷移源對象和定制形象身體形狀和比例不同做映射變換繼續(xù)寧全局姿態(tài)歸一化操作；再根據(jù)pix2pixHD生成式對抗模型(GAN)從標(biāo)準(zhǔn)化后的姿態(tài)圖形推斷目標(biāo)人物的圖像；最后補(bǔ)充面部表情細(xì)節(jié)，同樣采用一個(gè)特殊的GAN結(jié)構(gòu)來訓(xùn)練更細(xì)節(jié)更真實(shí)的面部區(qū)域。

該方法能夠很好實(shí)現(xiàn)動作遷移，且在高分辨率下細(xì)節(jié)信息較為完整真實(shí)，但該算法需要從源對象到定制形象以逐幀的方式形成圖像映射，從而實(shí)現(xiàn)動作遷移，不能直接從源對象和指定的定制形象直接生成定制形象視頻，在實(shí)際應(yīng)用中具有局限性。

(2)基于光流約束的姿態(tài)圖視頻生成技術(shù)，Video-to-Video?Synthesis[J],Ting-Chun?Wang,etc.,2018,Advances?in?Neural?Information?Processing?Systems(NeurIPS)，該技術(shù)建立生成器模型和相鄰兩幀之間的光流信息并通過對前景和背景分別建模來進(jìn)行姿態(tài)遷移的視頻生成。該方法通過添加光流時(shí)序約束從而克服了由源對象視頻到定制形象視頻轉(zhuǎn)換過程中前后幀不一致性問題，實(shí)現(xiàn)了人體動作的遷移，但該算法需要輸入語義分割掩碼視頻，因此還需要將源對象視頻先進(jìn)行語義分割，且分割結(jié)果直接影響定制形象視頻的生成，此外，由于該算法用的生成器技術(shù)，因此算法模型不能確保定制形象在整個(gè)視頻中有連續(xù)外觀。

綜上所述，目前先進(jìn)的人體動作遷移算法，存在以下缺陷：

(1)圖像轉(zhuǎn)換算法需要同時(shí)具備源對象視頻與定制形象視頻的圖像映射；

(2)姿態(tài)圖視頻生成技術(shù)需要用精準(zhǔn)的語義分割掩碼作為輸入，且生成的定制形象不保證有連續(xù)的外觀。

由此可見，目前根據(jù)人體動作遷移生成目標(biāo)運(yùn)動視頻的方法尤其是對于生成定制卡通形象運(yùn)動仍存在許多不足。

發(fā)明內(nèi)容

為解決上述技術(shù)問題，本發(fā)明提供了一種基于人體動作遷移的卡通定制形象運(yùn)動視頻生成方法，能夠直接從源對象動作和選定的定制形象生成定制形象運(yùn)動視頻，無需做全局標(biāo)準(zhǔn)化和圖像映射，生成的定制形象生動且具有連續(xù)性外觀，無需擔(dān)心由生成器原因?qū)е碌耐庥^不連續(xù)問題。

為達(dá)到上述目的，本發(fā)明的技術(shù)方案如下：

一種基于人體動作遷移的卡通定制形象運(yùn)動視頻生成方法，包括如下步驟：