[發明專利]一種復雜動作序列的三維人體分類與生成方法、系統

在審

• 申請號: 202210635201.3
• 申請日: 2022-06-07
• 公開（公告）號: CN114972874A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 宋文鳳;張欣宇;侯霞
• 申請（專利權）人: 北京信息科技大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V40/20;G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京睿智保誠專利代理事務所(普通合伙) 11732
• 代理人: 杜娟

1.一種復雜動作序列的三維人體分類與生成方法，其特征在于，包括：

步驟(1)：獲取復雜動作視頻，對所述復雜動作視頻進行預處理，構建數據集；

步驟(2)：對所述數據集進行關鍵點識別，得到人體關鍵點以及動作序列姿態信息，作為訓練集；

步驟(3)：構建基于三維幾何的復雜動作序列分類編碼模型，以所述訓練集為輸入，得到與所述訓練集動作類別相對應的含有時間信息的幾何參數的輸出；

步驟(4)：將所述基于三維幾何的復雜動作序列分類編碼模型的輸入和輸出合并為一個序列進行編碼與解碼訓練，構建基于三維幾何的復雜動作序列生成模型；

步驟(5)：將待生成動作的測試集輸入所述基于三維幾何的復雜動作序列分類編碼模型，獲取與所述測試集動作類別相對應的含有時間信息的幾何參數，再通過已經訓練好的所述基于三維幾何的復雜動作序列生成模型，得到多種所述測試集動作類別的動作序列。

2.根據權利要求1所述的一種復雜動作序列的三維人體分類與生成方法，其特征在于，步驟(1)中，對所述復雜動作視頻進行預處理包括：剪輯、截斷幀、將視頻數據轉換為圖片數據，并選取有豐富運動特征的圖片數據構建數據集。

3.根據權利要求2所述的一種復雜動作序列的三維人體分類與生成方法，其特征在于，步驟(2)中，對所述數據集進行關鍵點識別具體為：采用VIBE對圖片數據進行處理，得到每一幀圖片中的人體關鍵點以及動作序列姿態信息。

4.根據權利要求1所述的一種復雜動作序列的三維人體分類與生成方法，其特征在于，步驟(3)中，所述基于三維幾何的復雜動作序列分類編碼模型基于categorical編碼，構建訓練完成的復雜動作序列分類模型，具體包括以下步驟：

采用數據集函數對所述訓練集和對應標簽進行處理，獲取所述訓練集長度；

通過對數據迭代器中的訓練集進行迭代，獲取相應的三維幾何模型的張量；

將所述categorical編碼遷移到GPU上，通過兩個線性全連接層，以及附帶時間信息的長短記憶神經網絡，得到含有時間信息的幾何參數。

5.根據權利要求1所述的一種復雜動作序列的三維人體分類與生成方法，其特征在于，步驟(4)中，基于transformer模型構建所述基于三維幾何的復雜動作序列生成模型，包括：編碼訓練和解碼訓練兩個階段。

6.根據權利要求5所述的一種復雜動作序列的三維人體分類與生成方法，其特征在于，所述編碼訓練具體為：

將所述訓練集以及與所述訓練集相對應的含有時間信息的幾何信息參數相結合為一個序列，通過門控循環單元后輸入到transformer編碼，得到不同動作類別在隱空間的高斯分布；

所述解碼訓練具體為：

通過學習到不同動作類別在隱空間的方差與均值，通過transformer解碼器中，得到人體三維信息以及動作姿態，使用SMPL模型對參數進行渲染，獲得完整的人體序列。

7.根據權利要求6所述的一種復雜動作序列的三維人體分類與生成方法，其特征在于，所述基于transformer模型構建三維幾何的復雜動作序列生成模型的訓練損失函數為：

其中：Vt表示輸入數據的三維幾何信息，Pt表示預測的人體關節點以及人體動作姿態信息。

8.根據權利要求6所述的一種復雜動作序列的三維人體分類與生成方法，其特征在于，還包括在基于transformer模型構建所述基于三維幾何的復雜動作序列生成模型的過程中引入DropPath模塊，使所述編碼訓練和所述解碼訓練兩個階段交替進行。

9.一種復雜動作序列的三維人體分類與生成系統，其特征在于，包括：

獲取模塊：用于獲取復雜動作視頻，對所述復雜動作視頻進行預處理，構建數據集；

數據識別模塊：用于采用VIBE對圖片數據進行處理，對所述數據集進行關鍵點識別，得到每一幀圖片中的人體關鍵點以及動作序列姿態信息，作為訓練集；

第一構建模塊：基于categorical，對與所述訓練集相對應的三維幾何模型進行編碼訓練，得到含有時間信息的幾何信息參數，構建基于三維幾何的復雜動作序列分類編碼模型；

第二構建模塊：用于將訓練集以及與所述訓練集相對應的含有時間信息的幾何信息參數合并為一個序列，基于transformer模型進行編碼和解碼訓練，直至基于transformer模型構建三維幾何的復雜動作序列生成模型的訓練損失函數收斂，構建基于三維幾何的復雜動作序列生成模型；

輸入生成模塊：用于將待生成動作的測試集輸入所述基于三維幾何的復雜動作序列分類編碼模型，獲取與所述測試集動作類別相對應的含有時間信息的幾何參數，再通過已經訓練好的所述基于三維幾何的復雜動作序列生成模型，得到多種所述測試集動作類別的動作序列。