[發(fā)明專利]虛擬對(duì)象動(dòng)作控制方法、裝置及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202011423815.2
• 申請(qǐng)日: 2020-12-08
• 公開(kāi)（公告）號(hào): CN112560622B
• 公開(kāi)（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 王響;王愷;廉士國(guó)
• 申請(qǐng)（專利權(quán)）人: 中國(guó)聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司;聯(lián)通大數(shù)據(jù)有限公司
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V40/10;G06V10/774;G06V10/82;G06N3/02;G06F40/30;G10L25/30;G10L25/51
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 張娜;劉芳

1.一種虛擬對(duì)象動(dòng)作控制方法，其特征在于，包括：

獲取待模擬動(dòng)作數(shù)據(jù)；

將所述待模擬動(dòng)作數(shù)據(jù)輸入至多模態(tài)數(shù)據(jù)處理模型中進(jìn)行識(shí)別，得到動(dòng)作參數(shù)信息，其中，所述多模態(tài)數(shù)據(jù)處理模型為通過(guò)多種類型的待模擬動(dòng)作訓(xùn)練數(shù)據(jù)訓(xùn)練得到的；

根據(jù)所述動(dòng)作參數(shù)信息生成虛擬對(duì)象的動(dòng)作控制參數(shù)，并控制所述虛擬對(duì)象進(jìn)行動(dòng)作；

將動(dòng)作后的虛擬對(duì)象輸出到顯示設(shè)備進(jìn)行顯示；

所述待模擬動(dòng)作數(shù)據(jù)的類型包括視頻類型、音頻類型，以及文本類型中的任意一種或多種，

所述獲取待模擬動(dòng)作數(shù)據(jù)，包括：

獲取所述視頻類型、所述音頻類型，以及所述文本類型中的任意一種或多種類型對(duì)應(yīng)的待模擬動(dòng)作數(shù)據(jù)；

在所述獲取待模擬動(dòng)作數(shù)據(jù)之前，還包括：

分別針對(duì)每種類型的待模擬動(dòng)作訓(xùn)練數(shù)據(jù)構(gòu)建目標(biāo)網(wǎng)絡(luò)；

將所述目標(biāo)網(wǎng)絡(luò)進(jìn)行分割，形成至少一子神經(jīng)網(wǎng)絡(luò)模型；

根據(jù)預(yù)存的重組規(guī)則對(duì)各子神經(jīng)網(wǎng)絡(luò)模型進(jìn)行重組，得到多模態(tài)數(shù)據(jù)處理模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，若所述待模擬動(dòng)作數(shù)據(jù)的類型為視頻類型，則所述將所述待模擬動(dòng)作數(shù)據(jù)輸入至多模態(tài)數(shù)據(jù)處理模型中，得到動(dòng)作參數(shù)信息，包括：

將所述視頻類型的待模擬動(dòng)作數(shù)據(jù)按幀輸入至多模態(tài)數(shù)據(jù)處理模型中，得到待生成的虛擬對(duì)象對(duì)應(yīng)的各關(guān)節(jié)的三維位置坐標(biāo)；

根據(jù)所述各關(guān)節(jié)的三維位置坐標(biāo)生成動(dòng)作參數(shù)信息。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，若所述待模擬動(dòng)作數(shù)據(jù)的類型為音頻類型，則所述將所述待模擬動(dòng)作數(shù)據(jù)輸入至多模態(tài)數(shù)據(jù)處理模型中，得到動(dòng)作參數(shù)信息，包括：

將所述音頻類型的待模擬動(dòng)作數(shù)據(jù)輸入至多模態(tài)數(shù)據(jù)處理模型的音頻特征提取子模型進(jìn)行識(shí)別，得到第一音頻特征數(shù)據(jù)；

將所述音頻類型的待模擬動(dòng)作數(shù)據(jù)輸入至所述多模態(tài)數(shù)據(jù)處理模型的關(guān)鍵詞識(shí)別子模型進(jìn)行識(shí)別，得到第一關(guān)鍵詞向量數(shù)據(jù)；

將所述第一音頻特征數(shù)據(jù)和所述第一關(guān)鍵詞向量數(shù)據(jù)輸入至預(yù)設(shè)的音頻遷移網(wǎng)絡(luò)模型，得到動(dòng)作參數(shù)信息。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，若所述待模擬動(dòng)作數(shù)據(jù)的類型為文本類型，則所述將所述待模擬動(dòng)作數(shù)據(jù)輸入至多模態(tài)數(shù)據(jù)處理模型中，得到動(dòng)作參數(shù)信息，包括：

將所述文本類型的待模擬動(dòng)作數(shù)據(jù)輸入至語(yǔ)音轉(zhuǎn)化系統(tǒng)，得到合成后的待模擬語(yǔ)音數(shù)據(jù)；

將所述待模擬語(yǔ)音數(shù)據(jù)輸入至多模態(tài)數(shù)據(jù)處理模型的音頻特征提取子模型中進(jìn)行識(shí)別，得到第二音頻特征數(shù)據(jù)；

從所述文本類型的待模擬動(dòng)作數(shù)據(jù)中提取關(guān)鍵詞，并將提取的關(guān)鍵詞輸入至所述多模態(tài)數(shù)據(jù)處理模型的文字識(shí)別子模型中進(jìn)行識(shí)別，得到第二關(guān)鍵詞向量數(shù)據(jù)；

將所述第二音頻特征數(shù)據(jù)和所述第二關(guān)鍵詞向量數(shù)據(jù)輸入至預(yù)設(shè)的音頻遷移網(wǎng)絡(luò)模型，得到動(dòng)作參數(shù)信息。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，若所述待模擬動(dòng)作數(shù)據(jù)的類型為視頻類型、音頻類型與文本類型的結(jié)合，則所述將所述待模擬動(dòng)作數(shù)據(jù)輸入至多模態(tài)數(shù)據(jù)處理模型中，得到動(dòng)作參數(shù)信息，包括：

將所述視頻類型的待模擬動(dòng)作數(shù)據(jù)、所述音頻類型的待模擬動(dòng)作數(shù)據(jù)和所述文本類型的待模擬動(dòng)作數(shù)據(jù)輸入至多模態(tài)數(shù)據(jù)處理模型的音視頻文字對(duì)齊子模型中進(jìn)行識(shí)別，得到對(duì)齊后的音視頻與文字序列數(shù)據(jù)；

將對(duì)齊后的視頻類型的待模擬動(dòng)作數(shù)據(jù)輸入至所述多模態(tài)數(shù)據(jù)處理模型的特征識(shí)別子模型中進(jìn)行識(shí)別，得到待生成的虛擬對(duì)象對(duì)應(yīng)的各關(guān)節(jié)的特征數(shù)據(jù)；

將對(duì)齊后的音頻類型的待模擬動(dòng)作數(shù)據(jù)輸入至所述多模態(tài)數(shù)據(jù)處理模型的音頻特征提取子模型中進(jìn)行識(shí)別，得到第三音頻特征數(shù)據(jù)；

提取對(duì)齊后的文本類型的待模擬動(dòng)作數(shù)據(jù)的關(guān)鍵詞，并將提取的關(guān)鍵詞輸入至所述多模態(tài)數(shù)據(jù)處理模型的文字識(shí)別子模型中進(jìn)行識(shí)別，得到第三關(guān)鍵詞向量數(shù)據(jù)；

將所述待生成的虛擬對(duì)象對(duì)應(yīng)的各關(guān)節(jié)的特征數(shù)據(jù)、所述第三音頻特征數(shù)據(jù)和所述第三關(guān)鍵詞向量數(shù)據(jù)輸入至預(yù)設(shè)的音視頻遷移網(wǎng)絡(luò)模型，得到動(dòng)作參數(shù)信息。