[發明專利]虛擬形象驅動方法、裝置、設備及存儲介質

在審

• 申請號: 202110419205.3
• 申請日: 2021-04-19
• 公開（公告）號: CN113034652A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 錢立輝;韓欣彤;董浩業;王法強
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06K9/62;G06K9/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種虛擬形象驅動方法，其特征在于，包括：

獲取目標視頻幀，并將所述目標視頻幀輸入虛擬形象驅動模型；所述目標視頻幀中包括與目標虛擬形象對應的目標對象；

通過所述虛擬形象驅動模型，提取與所述目標視頻幀對應的圖像特征和人體關鍵點特征，并將所述圖像特征與所述人體關鍵點特征進行特征融合；

獲取所述虛擬形象驅動模型根據融合特征預測出的驅動信號；

根據所述驅動信號，驅動所述目標虛擬形象做出與所述目標視頻幀中的目標對象相同的動作。

2.根據權利要求1所述的方法，其特征在于，通過所述虛擬形象驅動模型，提取與所述目標視頻幀對應的圖像特征和人體關鍵點特征，包括：

通過所述虛擬形象驅動模型中的第一特征提取網絡，提取與所述目標視頻幀對應的圖像特征；

通過所述虛擬形象驅動模型中的解碼器網絡，獲取與所述圖像特征對應的二維人體關鍵點坐標；

通過所述虛擬形象驅動模型中的第二特征提取網絡，對所述二維人體關鍵點坐標進行特征提取，得到人體關鍵點特征。

3.根據權利要求2所述的方法，其特征在于，所述第一特征提取網絡為MobileNet V3網絡；所述第二特征提取網絡為六層的全連接神經網絡。

4.根據權利要求1所述的方法，其特征在于，獲取所述虛擬形象驅動模型根據融合特征預測出的驅動信號，包括：

通過所述虛擬形象驅動模型中的全連接層，將所述融合特征與各全連接層的加權矩陣做乘積運算，以將融合特征映射為六維空間數據；

將所述六維空間數據轉換為四元數，得到與所述目標視頻幀對應的驅動信號。

5.根據權利要求3所述的方法，其特征在于，在獲取目標視頻幀，并將所述目標視頻幀輸入虛擬形象驅動模型之前，還包括：

使用數據集COCO對虛擬形象驅動模型中的第一特征提取網絡進行人體關鍵點檢測任務預訓練。

6.根據權利要求1所述的方法，其特征在于，在獲取目標視頻幀，并將所述目標視頻幀輸入虛擬形象驅動模型之前，還包括：

定義所述虛擬形象驅動模型的損失函數為驅動信號的損失函數和人體關鍵點坐標的損失函數之和；

其中，所述驅動信號的損失函數為投影二維人體關鍵點的誤差以及預測的驅動信號與真實驅動信號的誤差之和；

所述人體關鍵點坐標的損失函數為各預測的二維人體關鍵點坐標與真實的二維人體關鍵點坐標之間的均方誤差；

所述驅動信號的損失函數與所述人體關鍵點坐標的損失函數互相獨立。

7.根據權利要求1所述的方法，其特征在于，根據所述驅動信號，驅動所述目標虛擬形象做出與所述目標視頻幀中的目標對象相同的動作，包括：

根據所述驅動信號，確定各人體關鍵點的目標姿態數據；

將所述目標虛擬形象的各人體關鍵點的姿態數據更新為相應的目標姿態數據，以驅動所述目標虛擬形象做出與所述目標視頻幀中的目標對象相同的動作。

8.一種虛擬形象驅動裝置，其特征在于，包括：

模型輸入模塊，用于獲取目標視頻幀，并將所述目標視頻幀輸入虛擬形象驅動模型；所述目標視頻幀中包括與目標虛擬形象對應的目標對象；

特征融合模塊，用于通過所述虛擬形象驅動模型，提取與所述目標視頻幀對應的圖像特征和人體關鍵點特征，并將所述圖像特征與所述人體關鍵點特征進行特征融合；

預測模塊，用于獲取所述虛擬形象驅動模型根據融合特征預測出的驅動信號；

驅動模塊，用于根據所述驅動信號，驅動所述目標虛擬形象做出與所述目標視頻幀中的目標對象相同的動作。

9.一種電子設備，其特征在于，所述設備包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1-7中任一所述的虛擬形象驅動方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-7中任一所述的虛擬形象驅動方法。