[發明專利]基于人體骨架序列信息的人物動作視頻生成方法、系統及存儲介質

有效

• 申請號: 202011448607.8
• 申請日: 2020-12-11
• 公開（公告）號: CN112419455B
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 張樂;胡建芳
• 申請（專利權）人: 中山大學
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種基于人體骨架序列信息的人物動作視頻生成方法、系統及存儲介質，所述方法包括以下步驟：利用生成器提取初始紋理特征和初始姿勢特征；經轉換模塊轉換成目標紋理特征和目標姿勢特征；將目標紋理特征輸入到時序模塊進行修正并得到最終紋理特征表示；編碼器對最終紋理特征表示進行解碼得到目標圖像；判別器判別生成圖像的紋理和姿勢并交替更新生成器和判別器。本發明利用時序模型來對人物動作視頻的生成進行時序上的建模，通過學習一個視頻前后不同幀之間的關聯關系來提升圖像質量，得到高仿真度的視頻。

技術領域

本發明屬于人工智能、計算機視覺和圖像生成技術領域，具體涉及一種基于人體骨架序列信息的人物動作視頻生成方法、系統及存儲介質。

背景技術

圖像生成是計算機視覺領域的一個分支，它旨在于生成接近真實的圖像。當前圖像生成領域的技術大都基于生成對抗網絡GAN實現，生成對抗網絡在圖像生成任務上表現出其強大的生成圖像能力，但普通的GAN卻有生成圖像難以控制的缺點，因此有研究提出了條件生成對抗網絡CGAN，通過在輸入和輸出上提供更多的約束來解決這一問題。

所述生成對抗網絡GAN具體含義為：一種深度學習模型，模型通過框架中的兩個模塊：生成模型G和判別模型D的互相博弈學習產生相當好的輸出，訓練過程中，生成模型G的目標是盡量生成真實的圖像去欺騙判別網絡D，判別模型D的目標是盡量把G生成的圖片和真實的圖片分別開來，G和D構成一個動態的博弈過程，最后最理想的狀態是G生成的圖片足以以假亂真，對于D來說它難以判定G生成的圖片是不是真實的。

具體到人物圖像的生成，完成人物圖像從原姿勢到目標姿勢的轉換，該技術在電影制作、數據增強等方面有十分重要的應用價值。但是由于人物姿勢的轉換涉及到人體的位移和肢體的旋轉等，僅從圖像層面去學習該轉換難度很大，因此有研究提出引入人體姿勢表示信息作為圖像生成的補充輸入。人體骨架序列是一種人體姿勢的信息表示方式，具有獲取成本低，使用靈活等優點。當前基于人體骨架序列的人物圖像生成主要有幾種方式：

1)將圖像和人體骨架序列的信息表示串接起來作為GAN的輸入；

2)將圖像的特征表示和人體骨架序列信息的特征表示串接起來作為GAN的輸入；

3)用人體骨架序列信息單向引導圖像轉換；

4)在圖像生成過程中圖像信息和人體骨架序列信息之間相互引導轉換。

現有技術多是從一張圖像到另一張圖像的角度去實現人體姿勢的轉換，在人體視頻任務的生成過程中，所有視頻幀的生成過程是完全獨立開的，沒有考慮視頻不同幀之間可能在時序上存在的關聯關系。

發明內容

本發明的主要目的在于克服現有技術的缺點與不足，提供一種基于人體骨架序列信息的人物動作視頻生成方法、系統及存儲介質，用于對給定一個人物動作視頻的第一幀圖片，以及視頻后續幀對應的人體骨架序列信息，通過建立視頻不同幀之間在時序上存在的關聯關系，把第一幀的紋理信息遷移到后續幀對應的目標人體骨架上，即完成一個人物姿勢的轉換，最終生成一個完整的人物動作視頻。

為了達到上述目的，本發明采用以下技術方案：

本發明一方面提出了一種基于人體骨架序列信息的人物動作視頻生成方法，利用生成器和判別器進行訓練，所述生成器用于生成盡可能逼真的圖像，所述判別器用于判別圖像的真偽；交替更新所述生成器和判別器達到動態平衡；

所述生成器的訓練過程為：

將第一輸入部分和第二輸入部分分別經編碼器編碼為初始紋理特征和初始姿勢特征所述第一輸入部分為原始圖像，所述第二輸入部分為初始和目標人體骨架序列熱圖的級聯；

將所述初始紋理特征和初始姿勢特征輸入生成器的紋理轉換路徑和姿勢轉換路徑中并進行交互引導轉換，得到目標紋理特征所述紋理轉換路徑和姿勢轉換路徑的中間包含了多個轉換模塊；