[發(fā)明專利]虛擬形象驅(qū)動(dòng)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110419205.3
• 申請日: 2021-04-19
• 公開（公告）號: CN113034652A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 錢立輝;韓欣彤;董浩業(yè);王法強(qiáng)
• 申請（專利權(quán)）人: 廣州虎牙科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06K9/62;G06K9/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明實(shí)施例公開了一種虛擬形象驅(qū)動(dòng)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。該方法包括：獲取目標(biāo)視頻幀，并將所述目標(biāo)視頻幀輸入虛擬形象驅(qū)動(dòng)模型；所述目標(biāo)視頻幀中包括與目標(biāo)虛擬形象對應(yīng)的目標(biāo)對象；通過所述虛擬形象驅(qū)動(dòng)模型，提取與所述目標(biāo)視頻幀對應(yīng)的圖像特征和人體關(guān)鍵點(diǎn)特征，并將所述圖像特征與所述人體關(guān)鍵點(diǎn)特征進(jìn)行特征融合；獲取所述虛擬形象驅(qū)動(dòng)模型根據(jù)融合特征預(yù)測出的驅(qū)動(dòng)信號；根據(jù)所述驅(qū)動(dòng)信號，驅(qū)動(dòng)所述目標(biāo)虛擬形象做出與所述目標(biāo)視頻幀中的目標(biāo)對象相同的動(dòng)作。本發(fā)明實(shí)施例的技術(shù)方案，通過融合圖像特征與人體關(guān)鍵點(diǎn)特征來驅(qū)動(dòng)虛擬形象，在滿足實(shí)時(shí)性的同時(shí)提高虛擬形象的驅(qū)動(dòng)準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及人工智能和計(jì)算機(jī)視覺技術(shù)領(lǐng)域，尤其涉及一種虛擬形象驅(qū)動(dòng)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

近年來，隨著基于人工智能的計(jì)算機(jī)視覺技術(shù)得到快速發(fā)展，根據(jù)圖像驅(qū)動(dòng)虛擬形象進(jìn)行相應(yīng)動(dòng)作，在體感游戲、虛擬現(xiàn)實(shí)、安防、監(jiān)控等多個(gè)領(lǐng)域都有較大的應(yīng)用前景。目前，在根據(jù)圖像驅(qū)動(dòng)虛擬形象時(shí)，如果使用計(jì)算量較大的模型，則會(huì)有較長的延遲時(shí)間，較難應(yīng)用到用戶客戶端中；如果使用計(jì)算量較小的驅(qū)動(dòng)模型則較難訓(xùn)練收斂，且驅(qū)動(dòng)效果較差。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種虛擬形象驅(qū)動(dòng)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，以通過融合圖像特征與人體關(guān)鍵點(diǎn)特征來驅(qū)動(dòng)虛擬形象，在滿足實(shí)時(shí)性的同時(shí)提高虛擬形象的驅(qū)動(dòng)準(zhǔn)確度。

第一方面，本發(fā)明實(shí)施例提供了一種虛擬形象驅(qū)動(dòng)方法，包括：

獲取目標(biāo)視頻幀，并將目標(biāo)視頻幀輸入虛擬形象驅(qū)動(dòng)模型；目標(biāo)視頻幀中包括與目標(biāo)虛擬形象對應(yīng)的目標(biāo)對象；

通過虛擬形象驅(qū)動(dòng)模型，提取與目標(biāo)視頻幀對應(yīng)的圖像特征和人體關(guān)鍵點(diǎn)特征，并將圖像特征與人體關(guān)鍵點(diǎn)特征進(jìn)行特征融合；

獲取虛擬形象驅(qū)動(dòng)模型根據(jù)融合特征預(yù)測出的驅(qū)動(dòng)信號；

根據(jù)驅(qū)動(dòng)信號，驅(qū)動(dòng)目標(biāo)虛擬形象做出與目標(biāo)視頻幀中的目標(biāo)對象相同的動(dòng)作。

可選的，通過虛擬形象驅(qū)動(dòng)模型，提取與目標(biāo)視頻幀對應(yīng)的圖像特征和人體關(guān)鍵點(diǎn)特征，包括：

通過虛擬形象驅(qū)動(dòng)模型中的第一特征提取網(wǎng)絡(luò)，提取與目標(biāo)視頻幀對應(yīng)的圖像特征；

通過虛擬形象驅(qū)動(dòng)模型中的解碼器網(wǎng)絡(luò)，獲取與圖像特征對應(yīng)的二維人體關(guān)鍵點(diǎn)坐標(biāo)；

通過虛擬形象驅(qū)動(dòng)模型中的第二特征提取網(wǎng)絡(luò)，對二維人體關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行特征提取，得到人體關(guān)鍵點(diǎn)特征。

可選的，第一特征提取網(wǎng)絡(luò)為MobileNet V3網(wǎng)絡(luò)；第二特征提取網(wǎng)絡(luò)為六層的全連接神經(jīng)網(wǎng)絡(luò)。

可選的，獲取虛擬形象驅(qū)動(dòng)模型根據(jù)融合特征預(yù)測出的驅(qū)動(dòng)信號，包括：

通過虛擬形象驅(qū)動(dòng)模型中的全連接層，將所述融合特征與各全連接層的加權(quán)矩陣做乘積運(yùn)算，以將融合特征映射為六維空間數(shù)據(jù)；

將六維空間數(shù)據(jù)轉(zhuǎn)換為四元數(shù)，得到與目標(biāo)視頻幀對應(yīng)的驅(qū)動(dòng)信號。

可選的，在獲取目標(biāo)視頻幀，并將目標(biāo)視頻幀輸入虛擬形象驅(qū)動(dòng)模型之前，還包括：

使用數(shù)據(jù)集COCO對虛擬形象驅(qū)動(dòng)模型中的第一特征提取網(wǎng)絡(luò)進(jìn)行人體關(guān)鍵點(diǎn)檢測任務(wù)預(yù)訓(xùn)練。

可選的，在獲取目標(biāo)視頻幀，并將目標(biāo)視頻幀輸入虛擬形象驅(qū)動(dòng)模型之前，還包括：

定義虛擬形象驅(qū)動(dòng)模型的損失函數(shù)為驅(qū)動(dòng)信號的損失函數(shù)和人體關(guān)鍵點(diǎn)坐標(biāo)的損失函數(shù)之和；

其中，驅(qū)動(dòng)信號的損失函數(shù)為投影二維人體關(guān)鍵點(diǎn)的誤差以及預(yù)測的驅(qū)動(dòng)信號與真實(shí)驅(qū)動(dòng)信號的誤差之和；

人體關(guān)鍵點(diǎn)坐標(biāo)的損失函數(shù)為各預(yù)測的二維人體關(guān)鍵點(diǎn)坐標(biāo)與真實(shí)的二維人體關(guān)鍵點(diǎn)坐標(biāo)之間的均方誤差；