[發明專利]基于深度學習的動畫生成模型訓練、動畫生成方法及裝置

有效

• 申請號: 202010264566.0
• 申請日: 2020-04-07
• 公開（公告）號: CN111476868B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 屈楨深;于淼;李清華
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06T13/00
• 分類號: G06T13/00;G06N20/00
• 代理公司: 北京隆源天恒知識產權代理有限公司 11473
• 代理人: 陳雪飛

1.一種基于深度學習的動畫生成模型訓練方法，其特征在于，包括：

獲取訓練集序列，所述訓練集序列包括多個關鍵幀序列，每個所述關鍵幀序列包括人物不同的行走姿態的多個關鍵幀圖像，多個所述關鍵幀圖像包括初始關鍵幀和對應的實際后序關鍵幀，所述初始關鍵幀為所述人物在初始狀態下的行走姿態，所述實際后續關鍵幀為所述人物在初始狀態之后的行走姿態；所述行走姿態包括人物的行走方向和行走動作；

將所述初始關鍵幀輸入所述動畫生成模型，確定預測后序關鍵幀；

所述動畫生成模型包括第一級聯網絡和第二級聯網絡，所述預測后序關鍵幀包括第一級聯后序關鍵幀和第二級聯后序關鍵幀；將所述初始關鍵幀輸入至所述第一級聯網絡，確定所述第一級聯后序關鍵幀；將所述第一級聯后序關鍵幀輸入至所述第二級聯網絡，確定所述第二級聯后序關鍵幀；

所述第一級聯后序關鍵幀包括第一生成關鍵幀和第二生成關鍵幀；所述第二級聯后序關鍵幀為第三生成關鍵幀；

所述第一生成關鍵幀與所述初始關鍵幀的所述行走方向相同、所述行走動作不同；所述第二生成關鍵幀與所述初始關鍵幀的所述行走方向不同、所述行走動作相同；所述第三生成關鍵幀與所述第二生成關鍵幀的所述行走方向相同、所述行走動作不同；

根據所述預測后序關鍵幀和所述實際后序關鍵幀確定損失函數的值；

根據所述損失函數的值調整所述動畫生成模型的參數直至滿足收斂條件，完成對所述動畫生成模型的訓練。

2.根據權利要求1所述的基于深度學習的動畫生成模型訓練方法，其特征在于，所述行走方向包括前方、后方、左方和右方，所述行走動作包括左腿邁出動作、右腿邁出動作和靜止。

3.根據權利要求1所述的基于深度學習的動畫生成模型訓練方法，其特征在于，所述將所述初始關鍵幀輸入至所述第一級聯網絡包括：

將所述初始關鍵幀鏡像變換后，輸入至所述第一級聯網絡。

4.根據權利要求1所述的基于深度學習的動畫生成模型訓練方法，其特征在于，所述第一級聯網絡包括第一生成子網絡和第二生成子網絡，將所述初始關鍵幀輸入至所述第一級聯網絡，確定所述第一級聯后序關鍵幀包括：

將所述初始關鍵幀輸入至所述第一生成子網絡，確定所述第一生成關鍵幀；

將所述初始關鍵幀輸入至所述第二生成子網絡，確定所述第二生成關鍵幀。

5.根據權利要求4所述的基于深度學習的動畫生成模型訓練方法，其特征在于，所述初始關鍵幀的所述行走方向包括第一方向，所述初始關鍵幀為第一方向初始幀，用于表示人物面對第一方向的初始狀態，所述第一生成關鍵幀包括多個第一方向動作子幀，多個所述第一方向動作子幀的所述行走動作互不相同。

6.根據權利要求4所述的基于深度學習的動畫生成模型訓練方法，其特征在于，所述第二生成子網絡包括生成器、第一判別器，其中：

所述生成器包括多個卷積層，所述生成器用于輸出生成預測圖；

所述第一判別器包括多個卷積層和全連接層，所述第一判別器用于比較所述生成預測圖、所述初始關鍵幀和所述初始關鍵幀在所述第二生成子網絡中對應的所述實際后序關鍵幀，所述第一判別器的輸出為比較后的判別結果。

7.根據權利要求6所述的基于深度學習的動畫生成模型訓練方法，其特征在于，所述生成器的損失函數采用L1損失函數，所述第一判別器采用交叉熵損失函數。

8.根據權利要求4所述的基于深度學習的動畫生成模型訓練方法，其特征在于，所述第一級聯后序關鍵幀輸入至所述第二級聯網絡，確定所述第二級聯后序關鍵幀包括：

將所述第二生成關鍵幀輸入至所述第二級聯網絡，確定所述第三生成關鍵幀。