[發(fā)明專利]一種虛擬現(xiàn)實的直播方法、裝置和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710400733.8
• 申請日: 2017-05-31
• 公開（公告）號: CN107277599A
• 公開（公告）日: 2017-10-20
• 發(fā)明（設(shè)計）人: 強項;賀子彬;宋佩穎;蔣曉光;周湘君
• 申請（專利權(quán)）人: 珠海金山網(wǎng)絡(luò)游戲科技有限公司;成都西山居互動娛樂科技有限公司
• 主分類號: H04N21/431
• 分類號: H04N21/431;H04N13/02;H04L29/06;G06T19/00;G06F3/01
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司44205
• 代理人: 俞梁清

1.一種虛擬現(xiàn)實的直播方法，其特征在于，包括以下步驟：

A、創(chuàng)建虛擬的3D角色，導(dǎo)入至圖形引擎，得到VR主播模型；

B、實時捕捉真實的演員動作信息，然后關(guān)聯(lián)和控制所述VR主播模型；

C、將所述VR主播模型合成至VR場景，然后實時與直播平臺對接，生成直播畫面；

其中，所述動作信息包括肢體動作、面部表情和聲音。

2.根據(jù)權(quán)利要求1所述的虛擬現(xiàn)實的直播方法，其中所述步驟A包括：

根據(jù)原畫資料，為所述虛擬的角色配置人設(shè)特性數(shù)據(jù)，人設(shè)特性數(shù)據(jù)包含職業(yè)信息、性格信息或人物背景特性，并且為所述VR主播模型配置貼圖、材質(zhì)和角色動畫骨骼。

3.根據(jù)權(quán)利要求2所述的虛擬現(xiàn)實的直播方法，其中所述步驟A還包括：

將所述VR主播模型及其匹配的角色動畫骨骼導(dǎo)入至所述圖形引擎中運算骨骼動畫。

4.根據(jù)權(quán)利要求1所述的虛擬現(xiàn)實的直播方法，其中所述步驟B包括：

捕捉所述演員的肢體動作、面部表情和聲音，轉(zhuǎn)換為與所述角色的人設(shè)特性關(guān)聯(lián)的肢體動作數(shù)據(jù)、面部動作數(shù)據(jù)和角色混音數(shù)據(jù)，然后關(guān)聯(lián)至圖形引擎中的相應(yīng)的VR主播模型，并且配置所述演員的肢體動作、面部表情和聲音與所述VR主播模型動畫的肢體動作、面部表情和聲音能夠?qū)崟r同步。

5.根據(jù)權(quán)利要求4所述的虛擬現(xiàn)實的直播方法，其中所述步驟B還包括：

提取所述演員的骨骼模型，然后導(dǎo)入至所述圖形引擎中，以匹配所述VR主播模型的角色動畫骨骼；

根據(jù)該骨骼模型來實時捕捉和轉(zhuǎn)換演員的肢體動作數(shù)據(jù)，將實時捕捉的肢體動作數(shù)據(jù)生成動作控制指令，通過所述圖形引擎生成相應(yīng)的VR主播模型的動作姿態(tài)；

在VR主播模型的動作姿態(tài)之間運算生成肢體動畫。

6.根據(jù)權(quán)利要求4所述的虛擬現(xiàn)實的直播方法，其中所述步驟B還包括：

提取所述演員的面部骨骼，然后導(dǎo)入至所述圖形引擎中，以匹配所述VR主播模型的面部骨骼蒙皮；

根據(jù)該面部骨骼來實時捕捉和轉(zhuǎn)換演員的面部動作數(shù)據(jù)，將實時捕捉的面部動作數(shù)據(jù)生成面部表情控制指令，通過所述圖形引擎生成相應(yīng)的VR主播模型的面部表情形狀；

在VR主播模型相應(yīng)面部位置的面部表情形狀之間運算生成面部表情動畫過渡。

7.根據(jù)權(quán)利要求1所述的虛擬現(xiàn)實的直播方法，其中所述步驟C包括：

加入燈光和音樂，通過VR后臺處理客戶端的導(dǎo)播面板進行控制；

實時地計算攝影機影像的位置及角度，并配置到所述虛擬的角色中，以進行交互及應(yīng)對拍攝；

將多個攝影機拍攝的畫面組合生成全景顯示畫面，然后發(fā)送至VR后臺處理客戶端以生成全景顯示。

8.一種虛擬現(xiàn)實的直播裝置，其特征在于，包括：

第一模塊，用于創(chuàng)建虛擬的角色，并導(dǎo)入至圖形引擎，生成VR主播模型；

第二模塊，用于實時捕捉真實的演員動作信息，然后關(guān)聯(lián)和控制所述VR主播模型；

第三模塊，將所述VR主播模型合成至VR場景，然后實時與直播平臺對接，生成直播畫面；

其中，所述動作信息包括肢體動作、面部表情和聲音。

9.根據(jù)權(quán)利要求8所述的虛擬現(xiàn)實的直播裝置，所述第一模塊還包括捕捉模塊，用于：

捕捉所述演員的肢體動作、面部表情和聲音，轉(zhuǎn)換為與所述角色的人設(shè)特性關(guān)聯(lián)的肢體動作數(shù)據(jù)、面部動作數(shù)據(jù)和角色混音數(shù)據(jù)，然后關(guān)聯(lián)至圖形引擎中的相應(yīng)的VR主播模型，并且配置所述演員的肢體動作、面部表情和聲音與所述VR主播模型動畫的肢體動作、面部表情和聲音能夠?qū)崟r同步。

10.一種虛擬現(xiàn)實的直播系統(tǒng)，其特征在于，包括：

動捕裝置，用于實時捕捉真實演員的肢體動作；

面部表情捕捉器，用于捕捉真實演員的面部表情；

圖形引擎，用于生成和處理角色模型，運算角色模型的物理動力學(xué)動作，轉(zhuǎn)換動畫視頻輸出至視頻傳播軟件；

燈光和特效生成模塊，用于協(xié)調(diào)照明和VR場景，增加特效；以及

應(yīng)用程序，該應(yīng)用程序用于執(zhí)行以下步驟：

創(chuàng)建虛擬的角色，并導(dǎo)入至圖形引擎，生成VR主播模型；

實時捕捉真實的演員動作信息，然后關(guān)聯(lián)和控制所述VR主播模型；

將所述VR主播模型合成至VR場景，然后實時與直播平臺對接，生成直播畫面。