[發明專利]基于5G通信的虛擬形象直播方法及系統

在審

• 申請號: 201911316297.1
• 申請日: 2019-12-19
• 公開（公告）號: CN111147873A
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 賀子彬;周湘君;杜慶焜;胡文彬
• 申請（專利權）人: 武漢西山藝創文化有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/234;H04N21/44
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 葉琦煒

本發明公開了一種基于5G通信的虛擬形象直播方法及系統，其中該方法包括以下步驟：對表演者的動作和聲音進行實時捕捉，將捕捉數據通過基于5G通信的網絡傳送給服務端，其中所述表演者的動作包括肢體動作和表情動作；服務端根據所述動作捕捉數據處理得到虛擬形象模型相應的動作數據，并通過基于5G通信的網絡發送給客戶端；客戶端在圖形界面中根據所述動作數據實時渲染虛擬形象模型，并根據所述虛擬形象模型的位移和鏡頭設置渲染場景。本發明的實施例至少具有以下有益效果：加快捕捉數據的處理速度，優化直播效果，動態渲染場景；5G通信技術使得捕捉到的大量數據能及時的上傳到服務器處理。

技術領域

本發明涉及虛擬形象直播技術，特別涉及一種基于5G通信的虛擬形象直播方法及系統。

背景技術

直播的火爆催生了各種直播形式，其中虛擬偶像直播就是新興的表現形式，逐漸受到了人們的喜愛和追捧。

但是現有的虛擬偶像直播受限于動作捕捉數據處理速度，使得直播中背景簡單或固定不動，虛擬偶像也多限定于人類形象，內容比較單調，觀賞性不佳。

發明內容

本發明旨在至少解決現有技術中存在的技術問題之一。為此，本發明提出一種基于5G通信的虛擬形象直播方法，能夠加快處理數據，進而豐富直播內容，提高觀賞性。

本發明還提出一種采用上述基于5G通信的虛擬形象直播方法的基于5G通信的虛擬形象直播系統。

根據本發明的第一方面實施例的基于5G通信的虛擬形象直播方法，包括以下步驟：S100，對表演者的動作和聲音進行實時捕捉，將捕捉數據通過基于5G通信的網絡傳送給服務端，其中所述表演者的動作包括肢體動作和表情動作；S200，所述服務端根據所述動作捕捉數據處理得到虛擬形象模型相應的動作數據，并通過基于5G通信的網絡發送給客戶端；S300，所述客戶端在圖形界面中加載場景及所述虛擬形象模型，根據所述動作數據實時渲染所述虛擬形象模型，并根據所述虛擬形象模型的位移和鏡頭設置渲染場景。

根據本發明實施例的基于5G通信的虛擬形象直播方法，至少具有如下有益效果：采集到的捕捉數據交由服務器統一處理轉換為虛擬形象的動作數據，能加快捕捉數據的處理速度，優化直播效果，并可以進一步的處理非人類形象的虛擬形象模型，動態渲染場景；5G通信技術使得捕捉到的大量數據能及時的上傳到服務器處理。

根據本發明的一些實施例，所述肢體動作和所述表情動作均由穿戴或貼附在表演者身上若干個的動作捕捉裝置來采集。肢體動作和表情動作均由動作捕捉裝置采集，動捕數據更精確，虛擬形象模型也就流暢自然。

根據本發明的一些實施例，所述肢體動作由穿戴或貼附在表演者身上若干個的動作捕捉裝置來采集；所述表情動作由攝像頭采集，獲取包含臉部信息的圖片或視頻數據發送給服務端。肢體動作處理相對簡單，需要的動作捕捉裝置也較少只需要關節部位部署就可以；表情動作則需要較多的動作捕捉裝置。攝像頭采集表情畫面，降低了成本。

根據本發明的一些實施例，所述步驟S200包括：S210,根據所述動作捕捉裝置的位置，確定所述虛擬形象模型相應的骨骼；S220，根據預設的規則，判斷所述捕捉數據的動作合理性，簡化處理并轉化生成所述骨骼的相應骨骼動畫數據。臉部動作和肢體動作都可以通過動作捕捉裝置的采集數據進行轉換，轉換的數據經過合理性判斷和簡化處理，能更自然地融合為虛擬形象模型的動作，提升觀感，減少冗余動作；更一步可以支持非人類形象的虛擬形象模型。

根據本發明的一些實施例，所述步驟S200還包括：S230，提取圖片或視頻數據中的臉部表情特征，根據預設的映射關系，得到所述虛擬形象模型對應的表情動畫數據；S240，根據聲音中的特征數據，得到所述虛擬形象模型對應的口型變化數據。根據特征提取，映射得到面部相關數據，提供了另一種轉換為虛擬形象模型的動作表現的方法，減少了動捕中臉部龐大數量的計算量。