[發明專利]基于虛擬形象的直播方法和裝置

在審

• 申請號: 201811287612.8
• 申請日: 2018-10-31
• 公開（公告）號: CN111200747A
• 公開（公告）日: 2020-05-26
• 發明（設計）人: 李培基;王韌竹
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: H04N21/431
• 分類號: H04N21/431;H04N21/442;H04N21/2187;H04N21/4788;G06T13/40;G06T13/80;G06T15/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 宋合成

本發明提出了一種基于虛擬形象的直播方法和裝置，其中，方法包括：采集主播用戶的面部深度信息；根據面部深度信息確定主播用戶的表情；根據表情渲染預設的虛擬形象的虛擬面部；采集主播用戶的音頻信息，將音頻信息和虛擬面部合成視頻幀，將視頻幀發送到觀看用戶客戶端。由此，在保證直播的真實性的同時，保護了直播用戶的隱私，提高了用戶和產品的粘性。

技術領域

本發明涉及直播技術領域，尤其涉及一種基于虛擬形象的直播方法和裝置。

背景技術

隨著計算機技術的發展，依托于計算機技術的娛樂行業也越來越豐富，比如，依托于計算機技術的直播行業作為新興行業，受到了越來越廣泛的關注，比如，游戲直播、直播銷售等。

相關技術中，通過將主播用戶以及所在環境的真實音視頻信息實時發布到社交平臺，實現直播，然而，這種方式，當主播用戶不希望暴露真實身份時，對主播用戶的隱私具有較大傷害，因此，亟需一種可以平衡直播的真實性以及隱私保護之間的矛盾的方法。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的第一個目的在于提出一種基于虛擬形象的直播方法，以在保證直播的真實性的同時，保護了直播用戶的隱私。

本發明的第二個目的在于提出一種基于虛擬形象的直播裝置。

本發明的第三個目的在于提出一種計算機程序產品。

本發明的第四個目的在于提出一種非臨時性計算機可讀存儲介質。

為達上述目的，本發明第一方面實施例提出了一種基于虛擬形象的直播方法，包括以下步驟：采集主播用戶的面部深度信息；根據所述面部深度信息確定所述主播用戶的表情；

根據所述表情渲染預設的虛擬形象的虛擬面部；采集所述主播用戶的音頻信息，將所述音頻信息和所述虛擬面部合成視頻幀，將所述視頻幀發送到觀看用戶客戶端。

另外，本發明實施例的基于虛擬形象的直播方法，還具有如下附加的技術特征：

可選地，所述采集主播用戶的面部深度信息，包括：通過點陣投影器向所述主播用戶面部投射多個光點；拍攝經所述主播用戶面部調制的結構光圖像；解調所述結構光圖像的各個像素對應的相位信息獲取所述主播用戶的面部深度信息。

可選地，所述根據所述面部深度信息確定所述主播用戶的表情，包括：查詢預設的第一表情數據庫，獲取與所述面部深度信息對應的表情；或者，計算所述面部深度信息與上次采集的面部深度信息的深度變化信息，查詢預設的第二表情數據庫，獲取與所述深度變化信息對應的表情。

可選地，還包括：獲取所述主播用戶的用戶特征和直播場景特征；根據所述用戶特征和直播場景特征生成虛擬形象。

可選地，所述根據所述表情渲染預設的虛擬形象的虛擬面部，包括：構建與所述虛擬面部對應的虛擬立繪模型，其中，所述虛擬立繪模型包括：與所述虛擬面部中的各器官對應的包含關鍵點的網格區域；查詢預設的二維動畫編輯數據庫，獲取與所述表情對應的目標器官和調整參數；根據所述調整參數調整與所述目標器官對應的目標網格對所述虛擬面部進行渲染。

本發明第二方面實施例提出了一種基于虛擬形象的直播裝置，包括：采集模塊，用于采集主播用戶的面部深度信息；確定模塊，用于根據所述面部深度信息確定所述主播用戶的表情；渲染模塊，用于根據所述表情渲染預設的虛擬形象的虛擬面部；合成模塊，用于采集所述主播用戶的音頻信息，將所述音頻信息和所述虛擬面部合成視頻幀；發送模塊，用于將所述視頻幀發送到觀看用戶客戶端。

本發明第三方面實施例提出了一種計算機程序產品，當所述計算機程序產品中的指令處理器執行時實現如前述方法實施例所述的基于虛擬形象的直播方法。