[發(fā)明專利]虛擬數(shù)字人處理方法、模型訓練方法及其裝置

在審

• 申請?zhí)枺?/td>: 202210547459.8
• 申請日: 2022-05-19
• 公開（公告）號: CN114862992A
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計）人: 郭紫垣
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06V10/46;G06N3/08;G06N3/04
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 羅嵐

本申請公開了一種虛擬數(shù)字人處理方法、模型訓練方法及其裝置，涉及增強現(xiàn)實技術(shù)及深度學習技術(shù)等人工智能領(lǐng)域。具體實現(xiàn)方案為：獲取參考角色的關(guān)鍵點圖像序列；根據(jù)關(guān)鍵點圖像序列中各關(guān)鍵點數(shù)據(jù)，確定虛擬數(shù)字人投影到二維空間時與各關(guān)鍵點數(shù)據(jù)對應(yīng)的虛擬數(shù)字人關(guān)鍵點數(shù)據(jù)；根據(jù)虛擬數(shù)字人關(guān)鍵點數(shù)據(jù)，獲取虛擬數(shù)字人的骨骼旋轉(zhuǎn)系數(shù)序列；根據(jù)骨骼旋轉(zhuǎn)系數(shù)序列，驅(qū)動虛擬數(shù)字人進行相應(yīng)動作。本申請可以為用戶提供了低成本且友好的驅(qū)動方案，極大地降低了前期設(shè)備投入成本。

技術(shù)領(lǐng)域

本申請涉及圖像處理領(lǐng)域，尤其涉及增強現(xiàn)實技術(shù)及深度學習技術(shù)等人工智能領(lǐng)域，特別的涉及一種虛擬數(shù)字人處理方法、虛擬數(shù)字人模型的訓練方法及其裝置。

背景技術(shù)

真人三維(3D)數(shù)字人驅(qū)動一直是學術(shù)界的研究熱點，并有著廣泛的工業(yè)應(yīng)用，最為常見的應(yīng)用領(lǐng)域有虛擬主播、虛擬客服、虛擬助理、虛擬教室、虛擬偶像以及其他互動游戲和娛樂等。

相關(guān)技術(shù)中，通過商業(yè)軟件搭建動捕棚以使用光學動捕的方式，或者，利用穿戴傳感器設(shè)備使用慣性動捕軟件捕捉人體的運動，以實時驅(qū)動數(shù)字人肢體運動。

然而，基于光學動捕或慣性動捕的方案，需要依賴昂貴的采集設(shè)備、高配的電腦硬件、復(fù)雜繁重的解算流程，導(dǎo)致很難具有普用性。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N虛擬數(shù)字人處理方法、虛擬數(shù)字人生成模型的訓練方法、裝置、電子設(shè)備以及存儲介質(zhì)。

根據(jù)本申請的第一方面，提供了一種虛擬數(shù)字人處理方法，包括：

獲取參考角色的關(guān)鍵點圖像序列；

根據(jù)所述關(guān)鍵點圖像序列中各關(guān)鍵點數(shù)據(jù)，確定所述虛擬數(shù)字人投影到二維空間時與所述各關(guān)鍵點數(shù)據(jù)對應(yīng)的虛擬數(shù)字人關(guān)鍵點數(shù)據(jù)；

根據(jù)所述虛擬數(shù)字人關(guān)鍵點數(shù)據(jù)，獲取所述虛擬數(shù)字人的骨骼旋轉(zhuǎn)系數(shù)序列；

根據(jù)所述骨骼旋轉(zhuǎn)系數(shù)序列，驅(qū)動所述虛擬數(shù)字人進行相應(yīng)動作。

根據(jù)本申請的第二方面，提供了一種虛擬數(shù)字人生成模型的訓練方法，其中，所述虛擬數(shù)字人生成模型包括動作編碼子模型和動作先驗子模型；所述訓練方法包括：

獲取動捕數(shù)據(jù)，并對所述動捕數(shù)據(jù)進行解析以獲得虛擬數(shù)字人的第一骨骼旋轉(zhuǎn)系數(shù)，并基于所述第一骨骼旋轉(zhuǎn)系數(shù)訓練變分自編碼模型；所述變分自編碼模型包括編碼器、中間編碼向量和解碼器；

將訓練好的變分自編碼模型中的所述中間編碼向量和所述解碼器，作為所述動作先驗子模型；

基于參考角色樣本的關(guān)鍵點圖像序列，訓練所述動作先驗子模型，直至已訓練的所述動作先驗子模型滿足預(yù)設(shè)條件，固定所述動作先驗子模型的模型參數(shù)；

獲取訓練數(shù)據(jù)；所述訓練數(shù)據(jù)包括虛擬數(shù)字人的關(guān)鍵點數(shù)據(jù)和第二骨骼旋轉(zhuǎn)系數(shù)；

根據(jù)所述虛擬數(shù)字人的關(guān)鍵點數(shù)據(jù)和第二骨骼旋轉(zhuǎn)系數(shù)，訓練所述虛擬數(shù)字人生成模型，直至滿足訓練終止條件。

根據(jù)本申請的第三方面，提供了一種虛擬數(shù)字人處理裝置，包括：

第一獲取模塊，用于獲取參考角色的關(guān)鍵點圖像序列；

確定模塊，用于根據(jù)所述關(guān)鍵點圖像序列中各關(guān)鍵點數(shù)據(jù)，確定所述虛擬數(shù)字人投影到二維空間時與所述各關(guān)鍵點數(shù)據(jù)對應(yīng)的虛擬數(shù)字人關(guān)鍵點數(shù)據(jù)；

第二獲取模塊，用于根據(jù)所述虛擬數(shù)字人關(guān)鍵點數(shù)據(jù)，獲取所述虛擬數(shù)字人的骨骼旋轉(zhuǎn)系數(shù)序列；

驅(qū)動模塊，用于根據(jù)所述骨骼旋轉(zhuǎn)系數(shù)序列，驅(qū)動所述虛擬數(shù)字人進行相應(yīng)動作。

根據(jù)本申請的第四方面，提供了一種虛擬數(shù)字人生成模型的訓練裝置，其中，所述虛擬數(shù)字人生成模型包括動作編碼子模型和動作先驗子模型；所述訓練裝置包括：