[發(fā)明專利]虛擬形象生成方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011462206.8
• 申請(qǐng)日: 2020-12-11
• 公開（公告）號(hào): CN112650831A
• 公開（公告）日: 2021-04-13
• 發(fā)明（設(shè)計(jì)）人: 閆嵩
• 申請(qǐng)（專利權(quán)）人: 北京大米科技有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F40/30;G06K9/00;G06T13/80;G10L15/02;G10L15/16;G10L15/26
• 代理公司: 北京恒博知識(shí)產(chǎn)權(quán)代理有限公司 11528
• 代理人: 張曉芳

1.一種虛擬形象生成方法，其特征在于，所述方法包括：

對(duì)音頻數(shù)據(jù)進(jìn)行自動(dòng)語音識(shí)別ASR處理得到文本信息；

對(duì)所述文本信息進(jìn)行語義分析得到情感信息；

根據(jù)所述情感信息確定對(duì)應(yīng)的動(dòng)作屬性信息；其中，所述動(dòng)作屬性信息包括：頭部動(dòng)作屬性信息、面部動(dòng)作屬性信息和肢體動(dòng)作屬性信息中的一種或多種；

根據(jù)所述動(dòng)作屬性信息生成虛擬形象。

2.根據(jù)權(quán)利要求1所述方法，其特征在于，所述對(duì)音頻數(shù)據(jù)進(jìn)行自動(dòng)語音識(shí)別ASR處理得到文本信息，包括：

將音頻數(shù)據(jù)進(jìn)行預(yù)處理；其中，所述預(yù)處理包括靜音切除和聲音分幀；

提取預(yù)處理后的音頻數(shù)據(jù)的線性預(yù)測(cè)倒譜LPCC特征；

通過聲學(xué)模型對(duì)所述LPCC特征進(jìn)行處理得到音素信息；

通過語言模型對(duì)所述音素信息進(jìn)行解碼得到文本信息。

3.根據(jù)權(quán)利要求1或2所述方法，其特征在于，所述對(duì)所述文本信息進(jìn)行語義分析得到情感信息，包括：

對(duì)所述文本信息進(jìn)行文本分類得到多個(gè)分詞詞組；

通過情感分類模型對(duì)所述多個(gè)分詞詞組進(jìn)行匹配得到情感詞典類型；

基于所述情感詞典類型確定情感信息。

4.根據(jù)權(quán)利要求1所述方法，其特征在于，所述根據(jù)所述情感信息確定對(duì)應(yīng)的動(dòng)作屬性信息之前，還包括：

獲取多個(gè)素材視頻數(shù)據(jù)；

對(duì)所述多個(gè)素材視頻數(shù)據(jù)進(jìn)行語音識(shí)別得到文本信息；

通過自然語言處理NLP模型在各個(gè)素材視頻數(shù)據(jù)的文本信息提取情感關(guān)鍵字；

根據(jù)提取的情感關(guān)鍵字對(duì)各個(gè)素材視頻數(shù)據(jù)進(jìn)行標(biāo)記；

提取標(biāo)記后的各個(gè)素材視頻數(shù)據(jù)對(duì)應(yīng)的動(dòng)作屬性信息；

確定所述情感關(guān)鍵字與所述動(dòng)作屬性信息的對(duì)應(yīng)關(guān)系。

5.根據(jù)權(quán)利要求1所述方法，其特征在于，所述根據(jù)所述動(dòng)作屬性信息生成虛擬形象，包括：

對(duì)所述音頻數(shù)據(jù)進(jìn)行處理得到嘴部動(dòng)作屬性信息；

解析所述嘴部動(dòng)作屬性信息與所述動(dòng)作屬性信息確定映射關(guān)系；

基于所述映射關(guān)系生成虛擬形象。

6.根據(jù)權(quán)利要求5所述方法，其特征在于，所述對(duì)所述音頻數(shù)據(jù)進(jìn)行處理得到嘴部動(dòng)作屬性信息，包括：

對(duì)所述音頻數(shù)據(jù)進(jìn)行特征提取得到聲音特征；

通過人臉關(guān)鍵點(diǎn)生成模塊對(duì)所述聲音特征進(jìn)行處理得到人臉關(guān)鍵點(diǎn)特征；

對(duì)所述人臉關(guān)鍵點(diǎn)特征進(jìn)行處理得到嘴部動(dòng)作屬性信息。

7.根據(jù)權(quán)利要求1所述方法，其特征在于，所述根據(jù)所述動(dòng)作屬性信息生成虛擬形象，還包括：

獲取目標(biāo)圖片；

基于所述動(dòng)作屬性信息對(duì)所述目標(biāo)圖片進(jìn)行處理生成虛擬形象。

8.一種虛擬形象生成裝置，其特征在于，包括：

識(shí)別模塊，用于對(duì)音頻數(shù)據(jù)進(jìn)行自動(dòng)語音識(shí)別ASR處理得到文本信息；

分析模塊，用于對(duì)所述文本信息進(jìn)行語義分析得到情感信息；

確定模塊，用于根據(jù)所述情感信息確定對(duì)應(yīng)的動(dòng)作屬性信息；其中，動(dòng)作屬性信息包括：頭部動(dòng)作屬性信息、面部動(dòng)作屬性信息和肢體動(dòng)作屬性信息中的一種或多種；

生成模塊，用于根據(jù)所述動(dòng)作屬性信息生成虛擬形象。

9.一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)存儲(chǔ)介質(zhì)存儲(chǔ)有多條指令，所述指令適于由處理器加載并執(zhí)行如權(quán)利要求1～7任意一項(xiàng)的方法步驟。

10.一種電子設(shè)備，其特征在于，包括：存儲(chǔ)器和處理器；其中，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序適用于由所述處理器加載并執(zhí)行如權(quán)利要求1～7任意一項(xiàng)的方法步驟。