[發明專利]基于虛擬形象的直播方法和裝置

在審

• 申請號: 201811287612.8
• 申請日: 2018-10-31
• 公開（公告）號: CN111200747A
• 公開（公告）日: 2020-05-26
• 發明（設計）人: 李培基;王韌竹
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: H04N21/431
• 分類號: H04N21/431;H04N21/442;H04N21/2187;H04N21/4788;G06T13/40;G06T13/80;G06T15/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 宋合成

1.一種基于虛擬形象的直播方法，其特征在于，包括以下步驟：

采集主播用戶的面部深度信息；

根據所述面部深度信息確定所述主播用戶的表情；

根據所述表情渲染預設的虛擬形象的虛擬面部；

采集所述主播用戶的音頻信息，將所述音頻信息和所述虛擬面部合成視頻幀，將所述視頻幀發送到觀看用戶客戶端。

2.如權利要求1所述的方法，其特征在于，所述采集主播用戶的面部深度信息，包括：

通過點陣投影器向所述主播用戶面部投射多個光點；

拍攝經所述主播用戶面部調制的結構光圖像；

解調所述結構光圖像的各個像素對應的相位信息獲取所述主播用戶的面部深度信息。

3.根據權利要求2所述的方法，其特征在于，所述根據所述面部深度信息確定所述主播用戶的表情，包括：

查詢預設的第一表情數據庫，獲取與所述面部深度信息對應的表情；

或者，

計算所述面部深度信息與上次采集的面部深度信息的深度變化信息，查詢預設的第二表情數據庫，獲取與所述深度變化信息對應的表情。

4.如權利要求1所述的方法，其特征在于，還包括：

獲取所述主播用戶的用戶特征和直播場景特征；

根據所述用戶特征和直播場景特征生成虛擬形象。

5.如權利要求1所述的方法，其特征在于，所述根據所述表情渲染預設的虛擬形象的虛擬面部，包括：

構建與所述虛擬面部對應的虛擬立繪模型，其中，所述虛擬立繪模型包括：與所述虛擬面部中的各器官對應的包含關鍵點的網格區域；

查詢預設的二維動畫編輯數據庫，獲取與所述表情對應的目標器官和調整參數；

根據所述調整參數調整與所述目標器官對應的目標網格對所述虛擬面部進行渲染。

6.一種基于虛擬形象的直播裝置，其特征在于，包括：

采集模塊，用于采集主播用戶的面部深度信息；

確定模塊，用于根據所述面部深度信息確定所述主播用戶的表情；

渲染模塊，用于根據所述表情渲染預設的虛擬形象的虛擬面部；

合成模塊，用于采集所述主播用戶的音頻信息，將所述音頻信息和所述虛擬面部合成視頻幀；

發送模塊，用于將所述視頻幀發送到觀看用戶客戶端。

7.如權利要求6所述的裝置，其特征在于，所述采集模塊，包括：

投射單元，用于通過點陣投影器向所述主播用戶面部投射多個光點；

拍攝單元，用于拍攝經所述主播用戶面部調制的結構光圖像；

獲取單元，用于解調所述結構光圖像的各個像素對應的相位信息獲取所述主播用戶的面部深度信息。

8.如權利要求7所述的裝置，其特征在于，所述確定模塊，具體用于：

查詢預設的第一表情數據庫，獲取與所述面部深度信息對應的表情；

或者，

計算所述面部深度信息與上次采集的面部深度信息的深度變化信息，查詢預設的第二表情數據庫，獲取與所述深度變化信息對應的表情。

9.一種計算機程序產品，其特征在于，當所述計算機程序產品中的指令處理器執行時實現如權利要求1-5中任一所述的基于虛擬形象的直播方法。

10.一種非臨時性計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-5中任一所述的基于虛擬形象的直播方法。