[發(fā)明專利]基于人體骨架序列信息的人物動作視頻生成方法、系統(tǒng)及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011448607.8
• 申請日: 2020-12-11
• 公開（公告）號: CN112419455B
• 公開（公告）日: 2022-07-22
• 發(fā)明（設(shè)計）人: 張樂;胡建芳
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06N3/04;G06N3/08
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李斌

1.基于人體骨架序列信息的人物動作視頻生成方法，其特征在于，利用生成器和判別器進行訓(xùn)練，所述生成器用于生成盡可能逼真的圖像，所述判別器用于判別圖像的真?zhèn)危唤惶娓滤錾善骱团袆e器達到動態(tài)平衡；

所述生成器的訓(xùn)練過程為：

將第一輸入部分和第二輸入部分分別經(jīng)編碼器編碼為初始紋理特征和初始姿勢特征所述第一輸入部分為原始圖像，所述第二輸入部分為初始和目標人體骨架序列熱圖的級聯(lián)；

將所述初始紋理特征和初始姿勢特征輸入生成器的紋理轉(zhuǎn)換路徑和姿勢轉(zhuǎn)換路徑中并進行交互引導(dǎo)轉(zhuǎn)換，得到目標紋理特征所述紋理轉(zhuǎn)換路徑和姿勢轉(zhuǎn)換路徑的中間包含了多個轉(zhuǎn)換模塊；

將多個所述目標紋理特征輸入到時序模塊中，并經(jīng)時序模塊修正后得到多幀的最終紋理特征表示；

將多幀的最終紋理特征表示分別經(jīng)過解碼器進行解碼，得到多幀的最終紋理特征對應(yīng)的目標圖像，最終生成動作視頻；

將生成器生成的多幀圖像分別與視頻第一幀圖像組成圖像對，輸入到紋理判別器中，計算紋理判別器此時的輸出與紋理判別器將某個樣本判別為真的輸出之間的誤差損失，后向傳播更新生成器；

將生成器生成的多幀圖像分別與目標人體骨架序列表示組合，輸入到姿勢判別器中，計算姿勢判別器此時的輸出與姿勢判別器將某個樣本判別為真的輸出之間的誤差損失，后向傳播更新生成器；

用生成器生成的多幀圖像相應(yīng)計算出損失函數(shù)中除GAN損失外的其他損失項并后向傳播更新生成器；

所述判別器的訓(xùn)練過程為：

將視頻的第一幀圖像和某一幀的真實圖像組成的圖像對作為正樣本，視頻的第一幀圖像和生成器生成的某一幀的圖像組成的圖像對作為負樣本，輸入到紋理判別器中計算誤差損失，后向傳播更新紋理判別器；

將視頻某一幀的真實圖像與對應(yīng)的人體骨架序列熱圖的串接作為正樣本，生成器生成的視頻某一幀圖像與對應(yīng)的人體骨架序列熱圖的串接作為負樣本，輸入到姿勢判別器中計算誤差損失，后向傳播更新姿勢判別器；

所述交替更新生成器和判別器達到動態(tài)平衡具體為：

在一次迭代中，生成器根據(jù)輸入生成轉(zhuǎn)換后的人物圖像，將生成的圖像分別和原圖像和目標人體骨架序列表示進行組合，分別輸入兩個判別器計算得到對應(yīng)的GAN損失項，利用生成的圖像繼續(xù)計算出生成器的所有損失項之后進行反向傳播更新生成器參數(shù)；接著采用生成的圖像分別和原圖像和目標人體骨架序列表示組合作為負樣本，結(jié)合以真實目標圖像組合得到的正樣本，分別輸入到兩個判別器中計算損失并反向傳播更新判別器參數(shù)，提升判別器正確判別圖像真?zhèn)蔚哪芰Γ谟?xùn)練過程中交替更新生成器和判別器，最終達到動態(tài)平衡。

2.根據(jù)權(quán)利要求1所述基于人體骨架序列信息的人物動作視頻生成方法，其特征在于，所述第一輸入部分為視頻第一幀對應(yīng)的圖像I_s；所述第二輸入部分為視頻第一幀對應(yīng)的人體骨架序列表示P_s和當(dāng)前幀對應(yīng)的人體骨架序列表示P_t在通道維度上的串接。