[發(fā)明專利]基于5G通信的虛擬形象直播方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201911316297.1
• 申請日: 2019-12-19
• 公開（公告）號: CN111147873A
• 公開（公告）日: 2020-05-12
• 發(fā)明（設(shè)計）人: 賀子彬;周湘君;杜慶焜;胡文彬
• 申請（專利權(quán)）人: 武漢西山藝創(chuàng)文化有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/234;H04N21/44
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 葉琦煒

1.一種基于5G通信的虛擬形象直播方法，其特征在于，包括以下步驟：

S100，對表演者的動作和聲音進(jìn)行實時捕捉，將捕捉數(shù)據(jù)通過基于5G通信的網(wǎng)絡(luò)傳送給服務(wù)端，其中所述表演者的動作包括肢體動作和表情動作；

S200，所述服務(wù)端根據(jù)所述動作捕捉數(shù)據(jù)處理得到虛擬形象模型相應(yīng)的動作數(shù)據(jù)，并通過基于5G通信的網(wǎng)絡(luò)發(fā)送給客戶端；

S300，所述客戶端在圖形界面中根據(jù)所述動作數(shù)據(jù)實時渲染虛擬形象模型，并根據(jù)所述虛擬形象模型的位移和鏡頭設(shè)置渲染場景。

2.根據(jù)權(quán)利要求1所述的基于5G通信的虛擬形象直播方法，其特征在于，所述肢體動作和所述表情動作均由穿戴或貼附在表演者身上若干個的動作捕捉裝置來采集。

3.根據(jù)權(quán)利要求1所述的基于5G通信的虛擬形象直播方法，其特征在于，所述肢體動作由穿戴或貼附在表演者身上若干個的動作捕捉裝置來采集；所述表情動作由攝像頭采集，獲取包含臉部信息的圖片或視頻數(shù)據(jù)發(fā)送給服務(wù)端。

4.根據(jù)權(quán)利要求2或3所述的基于5G通信的虛擬形象直播方法，其特征在于，所述步驟S200包括：

S210,根據(jù)所述動作捕捉裝置的位置，確定所述虛擬形象模型相應(yīng)的骨骼；

S220，根據(jù)預(yù)設(shè)的規(guī)則，判斷所述捕捉數(shù)據(jù)的動作合理性，簡化處理并轉(zhuǎn)化生成所述骨骼的相應(yīng)骨骼動畫數(shù)據(jù)。

5.根據(jù)權(quán)利要求3所述的基于5G通信的虛擬形象直播方法，其特征在于，所述步驟S200還包括：

S230，提取圖片或視頻數(shù)據(jù)中的臉部表情特征，根據(jù)預(yù)設(shè)的映射關(guān)系，得到所述虛擬形象模型對應(yīng)的表情動畫數(shù)據(jù)；

S240，根據(jù)聲音中的特征數(shù)據(jù)，得到所述虛擬形象模型對應(yīng)的口型變化數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的基于5G通信的虛擬形象直播方法，其特征在于，所述步驟S300包括：

S310、根據(jù)所述表情動畫數(shù)據(jù)和所述口型變化數(shù)據(jù)，渲染所述虛擬形像模型的臉部動作表現(xiàn)；

S320、根據(jù)所述骨骼動畫數(shù)據(jù)，渲染所述虛擬形像模型的肢體動作表現(xiàn)；

S330、根據(jù)直播間的當(dāng)前鏡頭位置朝向和所述虛擬形像模型產(chǎn)生的位移，渲染場景物件。

7.一種基于5G通信的虛擬形象直播系統(tǒng)，使用權(quán)利要求1至6中任一項所述的方法，包括：

采集裝置，用于實時采集表演者的動作和聲音，獲取捕捉數(shù)據(jù)；

通信裝置，用于通過5G通信技術(shù)將所述捕捉數(shù)據(jù)實時地傳送給服務(wù)端；

轉(zhuǎn)換模塊，用于將表演者的捕捉數(shù)據(jù)轉(zhuǎn)化為虛擬形像模型相應(yīng)的動作數(shù)據(jù)；

直播接收模塊，用于接收所述動作數(shù)據(jù)，渲染所述虛擬形像模型的動作表現(xiàn)及其所處場景。

8.根據(jù)權(quán)利要求7所述的虛擬形象直播系統(tǒng)，所述轉(zhuǎn)換模塊包括：骨骼動作轉(zhuǎn)換模塊，用于根據(jù)預(yù)設(shè)的規(guī)則，判斷所述捕捉數(shù)據(jù)在所述虛擬形象模型上的動作合理性，簡化處理并轉(zhuǎn)化生成相應(yīng)骨骼動畫數(shù)據(jù)。

9.根據(jù)權(quán)利要求7所述的虛擬形象直播系統(tǒng)，所述轉(zhuǎn)換模塊還包括：

表情動作轉(zhuǎn)換模塊，用于提取圖片或視頻數(shù)據(jù)中的臉部表情特征，根據(jù)預(yù)設(shè)的映射關(guān)系，轉(zhuǎn)換成所述虛擬形像模型相應(yīng)的表情動畫數(shù)據(jù)；

口型處理模塊，用于提取所述聲音數(shù)據(jù)的特征，得到所述虛擬形象對應(yīng)的口型變化數(shù)據(jù)。

10.根據(jù)權(quán)利要求7所述的虛擬形象直播系統(tǒng)，所述采集裝置包括：聲音采集裝置、動作捕捉感應(yīng)裝置及攝像裝置。