[發(fā)明專利]虛擬數字人處理方法、模型訓練方法及其裝置

在審

• 申請?zhí)枺?/td>: 202210547459.8
• 申請日: 2022-05-19
• 公開（公告）號: CN114862992A
• 公開（公告）日: 2022-08-05
• 發(fā)明（設計）人: 郭紫垣
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06V10/46;G06N3/08;G06N3/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅嵐

1.一種虛擬數字人處理方法，包括：

獲取參考角色的關鍵點圖像序列；

根據所述關鍵點圖像序列中各關鍵點數據，確定所述虛擬數字人投影到二維空間時與所述各關鍵點數據對應的虛擬數字人關鍵點數據；

根據所述虛擬數字人關鍵點數據，獲取所述虛擬數字人的骨骼旋轉系數序列；

根據所述骨骼旋轉系數序列，驅動所述虛擬數字人進行相應動作。

2.如權利要求1所述的方法，其中，還包括：

顯示可視化編輯界面；

基于所述可視化編輯界面，接收對所述關鍵點圖像序列之中至少部分關鍵點圖像的編輯操作；

根據所述編輯操作對對應的關鍵點圖像進行相應處理，以獲得經過編輯后的所述關鍵點圖像序列。

3.如權利要求1或2所述的方法，其中，所述根據所述關鍵點圖像序列中各關鍵點數據，確定所述虛擬數字人投影到二維空間時與所述各關鍵點數據對應的虛擬數字人關鍵點數據，包括：

根據所述關鍵點圖像序列中的T型姿勢圖，確定所述T型姿勢圖之中所述參考角色的身材比例信息；

確定所述虛擬數字人的人體各關節(jié)的比例信息；

根據所述關鍵點圖像序列中各關鍵點數據，確定所述虛擬數字人投影到二維空間時與所述各關鍵點數據對應的虛擬數字人關鍵點數據；

根據所述參考角色的身材比例信息和所述虛擬數字人的人體各關節(jié)的比例信息，更新所述虛擬數字人關鍵點數據。

4.如權利要求3所述的方法，其中，所述更新的內容為所述虛擬數字人關鍵點數據中各個關鍵點連線的向量長度比例。

5.如權利要求1或2所述的方法，其中，所述根據所述虛擬數字人關鍵點數據，獲取所述虛擬數字人的骨骼旋轉系數序列，包括：

根據所述虛擬數字人關鍵點數據，確定與所述虛擬數字人關鍵點數據對應的動作編碼向量；

根據與所述虛擬數字人關鍵點數據對應的動作編碼向量，獲取所述虛擬數字人的骨骼旋轉系數序列。

6.如權利要求5所述的方法，其中，所述根據所述虛擬數字人關鍵點數據，確定與所述虛擬數字人關鍵點數據對應的動作編碼向量，包括：

將所述虛擬數字人關鍵點數據，輸入至預設的虛擬數字人生成模型；其中，所述虛擬數字人生成模型已經學習得到關鍵點數據與骨骼旋轉系數之間的映射關系，且所述虛擬數字人生成模型包括動作編碼子模型和動作先驗子模型；

獲取所述動作編碼子模型輸出的與所述虛擬數字人關鍵點數據對應的動作編碼向量；

所述根據與所述虛擬數字人關鍵點數據對應的動作編碼向量，獲取所述虛擬數字人的骨骼旋轉系數序列，包括：

將與所述虛擬數字人關鍵點數據對應的動作編碼向量輸入至所述動作先驗子模型，獲取所述虛擬數字人的骨骼旋轉系數序列。

7.一種虛擬數字人生成模型的訓練方法，其中，所述虛擬數字人生成模型包括動作編碼子模型和動作先驗子模型；所述訓練方法包括：

獲取動捕數據，并對所述動捕數據進行解析以獲得虛擬數字人的第一骨骼旋轉系數，并基于所述第一骨骼旋轉系數訓練變分自編碼模型；所述變分自編碼模型包括編碼器、中間編碼向量和解碼器；

將訓練好的變分自編碼模型中的所述中間編碼向量和所述解碼器，作為所述動作先驗子模型；

基于參考角色樣本的關鍵點圖像序列，訓練所述動作先驗子模型，直至已訓練的所述動作先驗子模型滿足預設條件，固定所述動作先驗子模型的模型參數；

獲取訓練數據；所述訓練數據包括虛擬數字人的關鍵點數據和第二骨骼旋轉系數；

根據所述虛擬數字人的關鍵點數據和第二骨骼旋轉系數，訓練所述虛擬數字人生成模型，直至滿足訓練終止條件。