[發(fā)明專(zhuān)利]虛擬直播方法、裝置、系統(tǒng)及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011023760.6
• 申請(qǐng)日: 2020-09-25
• 公開(kāi)（公告）號(hào): CN111970535B
• 公開(kāi)（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 柴金祥;其他發(fā)明人請(qǐng)求不公開(kāi)姓名
• 申請(qǐng)（專(zhuān)利權(quán)）人: 魔琺（上海）信息科技有限公司;上海墨舞科技有限公司
• 主分類(lèi)號(hào): H04N21/2187
• 分類(lèi)號(hào): H04N21/2187;H04N21/234;G06T13/40
• 代理公司: 北京林達(dá)劉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

1.一種虛擬直播方法，其特征在于，所述方法包括：

獲取真實(shí)對(duì)象的真實(shí)特征數(shù)據(jù)，所述真實(shí)特征數(shù)據(jù)包括所述真實(shí)對(duì)象在表演過(guò)程中的動(dòng)作數(shù)據(jù)和面部數(shù)據(jù)；

根據(jù)所述真實(shí)特征數(shù)據(jù)確定虛擬角色的目標(biāo)特征數(shù)據(jù)，所述虛擬角色為預(yù)設(shè)的動(dòng)畫(huà)模型，所述目標(biāo)特征數(shù)據(jù)包括所述虛擬角色的動(dòng)作數(shù)據(jù)和面部數(shù)據(jù)；

根據(jù)所述目標(biāo)特征數(shù)據(jù)確定所述虛擬角色對(duì)應(yīng)的視頻推流數(shù)據(jù)；

將所述虛擬角色對(duì)應(yīng)的視頻推流數(shù)據(jù)發(fā)送至目標(biāo)直播平臺(tái)，所述視頻推流數(shù)據(jù)用于指示所述目標(biāo)直播平臺(tái)展示所述虛擬角色的虛擬直播；

所述根據(jù)所述目標(biāo)特征數(shù)據(jù)確定所述虛擬角色對(duì)應(yīng)的視頻推流數(shù)據(jù)，包括：獲取參考數(shù)據(jù)，所述參考數(shù)據(jù)包括所述真實(shí)對(duì)象在表演過(guò)程中的聲音錄制數(shù)據(jù)和虛擬相機(jī)位姿數(shù)據(jù)；

根據(jù)所述目標(biāo)特征數(shù)據(jù)和所述參考數(shù)據(jù)，確定所述虛擬角色對(duì)應(yīng)的視頻推流數(shù)據(jù)；其中，所述虛擬相機(jī)位姿數(shù)據(jù)用于指示待生成的動(dòng)畫(huà)畫(huà)面的預(yù)覽相機(jī)視角，所述虛擬相機(jī)位姿數(shù)據(jù)包括：虛擬相機(jī)位置、虛擬相機(jī)方向，以及虛擬相機(jī)焦距參數(shù)；

所述根據(jù)所述真實(shí)特征數(shù)據(jù)確定虛擬角色的目標(biāo)特征數(shù)據(jù)，包括：

將所述真實(shí)特征數(shù)據(jù)轉(zhuǎn)化為虛擬對(duì)象的虛擬特征數(shù)據(jù)，所述虛擬對(duì)象為對(duì)所述真實(shí)對(duì)象進(jìn)行還原重建得到的虛擬模型，所述虛擬特征數(shù)據(jù)包括所述虛擬對(duì)象的動(dòng)作數(shù)據(jù)和面部數(shù)據(jù)；

將所述虛擬特征數(shù)據(jù)進(jìn)行重定向處理得到所述虛擬角色的所述目標(biāo)特征數(shù)據(jù)，包括：將所述虛擬對(duì)象的面部數(shù)據(jù)進(jìn)行重定向處理，得到所述虛擬角色的面部數(shù)據(jù)，所述面部數(shù)據(jù)包括表情數(shù)據(jù)和/或眼神數(shù)據(jù)；

所述將所述虛擬對(duì)象的面部數(shù)據(jù)進(jìn)行重定向處理，得到所述虛擬角色的面部數(shù)據(jù)，包括：

獲取所述虛擬對(duì)象的面部數(shù)據(jù)與所述虛擬角色的面部數(shù)據(jù)之間的第二對(duì)應(yīng)關(guān)系，所述面部數(shù)據(jù)用于指示面部結(jié)構(gòu)特征和情緒風(fēng)格特征；

根據(jù)所述第二對(duì)應(yīng)關(guān)系，將所述虛擬對(duì)象的面部數(shù)據(jù)重定向處理至所述虛擬角色上，得到所述虛擬角色的所述面部數(shù)據(jù)；

其中，所述第二對(duì)應(yīng)關(guān)系為預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，用于表示虛擬對(duì)象的面部數(shù)據(jù)與虛擬角色的面部數(shù)據(jù)之間的相關(guān)關(guān)系，或者，所述第二對(duì)應(yīng)關(guān)系為預(yù)設(shè)的數(shù)學(xué)模型，所述數(shù)學(xué)模型包括虛擬對(duì)象的面部數(shù)據(jù)與虛擬角色的面部數(shù)據(jù)之間的模型系數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述目標(biāo)特征數(shù)據(jù)確定所述虛擬角色對(duì)應(yīng)的視頻推流數(shù)據(jù)，包括：

當(dāng)接收到第一觸發(fā)指令時(shí)，根據(jù)所述目標(biāo)特征數(shù)據(jù)和預(yù)設(shè)動(dòng)作數(shù)據(jù)，確定所述虛擬角色對(duì)應(yīng)的視頻推流數(shù)據(jù)；

其中，所述預(yù)設(shè)動(dòng)作數(shù)據(jù)用于指示所述虛擬角色的預(yù)設(shè)骨骼動(dòng)作。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述目標(biāo)特征數(shù)據(jù)確定所述虛擬角色對(duì)應(yīng)的視頻推流數(shù)據(jù)，包括：

當(dāng)接收到第二觸發(fā)指令時(shí)，根據(jù)所述目標(biāo)特征數(shù)據(jù)和預(yù)設(shè)特效數(shù)據(jù)，確定所述虛擬角色對(duì)應(yīng)的視頻推流數(shù)據(jù)；

其中，所述預(yù)設(shè)特效數(shù)據(jù)用于指示所述虛擬角色的預(yù)設(shè)虛擬特效。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)特征數(shù)據(jù)和所述參考數(shù)據(jù)均攜帶有時(shí)間碼，所述根據(jù)所述目標(biāo)特征數(shù)據(jù)和所述參考數(shù)據(jù)，確定所述虛擬角色對(duì)應(yīng)的視頻推流數(shù)據(jù)，包括：

根據(jù)所述目標(biāo)特征數(shù)據(jù)和所述參考數(shù)據(jù)各自對(duì)應(yīng)的所述時(shí)間碼，將所述目標(biāo)特征數(shù)據(jù)和所述參考數(shù)據(jù)進(jìn)行對(duì)齊處理；

根據(jù)對(duì)齊處理后的所述目標(biāo)特征數(shù)據(jù)和所述參考數(shù)據(jù)，確定所述虛擬角色對(duì)應(yīng)的視頻推流數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)對(duì)齊處理后的所述目標(biāo)特征數(shù)據(jù)和所述參考數(shù)據(jù)，確定所述虛擬角色對(duì)應(yīng)的視頻推流數(shù)據(jù)，包括：

根據(jù)對(duì)齊處理后的所述虛擬相機(jī)位姿數(shù)據(jù)和所述目標(biāo)特征數(shù)據(jù)，得到動(dòng)畫(huà)畫(huà)面；

對(duì)所述動(dòng)畫(huà)畫(huà)面進(jìn)行渲染得到渲染結(jié)果；

根據(jù)所述渲染結(jié)果和所述聲音錄制數(shù)據(jù)，確定所述虛擬角色對(duì)應(yīng)的視頻推流數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取真實(shí)對(duì)象的真實(shí)特征數(shù)據(jù)，包括：

獲取所述真實(shí)對(duì)象的所述動(dòng)作數(shù)據(jù)，所述動(dòng)作數(shù)據(jù)包括肢體動(dòng)作數(shù)據(jù)和/或手勢(shì)動(dòng)作數(shù)據(jù)；以及，

獲取所述真實(shí)對(duì)象的所述面部數(shù)據(jù)，所述面部數(shù)據(jù)包括表情數(shù)據(jù)和/或眼神數(shù)據(jù)。