[發明專利]基于人工智能的直播方法、裝置、設備及存儲介質

有效

• 申請號: 202110184746.2
• 申請日: 2019-12-19
• 公開（公告）號: CN112995706B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 朱紹明
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04N21/233
• 分類號: H04N21/233;H04N21/234;H04N21/2343;H04N21/478;H04N21/2187;G06F21/64
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 趙翠萍;張穎玲

1.一種基于人工智能的直播方法，其特征在于，所述方法包括：

接收用于供虛擬主播表演的給定文本；

根據所述給定文本實時獲取對應所述虛擬主播的音頻數據和臉部特征；

基于所述虛擬主播的音頻數據和臉部特征，形成至少一個媒體數據包，并繼續處理下一個給定文本，以得到對應下一個給定文本的至少一個媒體數據包；

從對應所述給定文本的至少一個媒體數據包中提取出對應所述給定文本的臉部特征；

對所述給定文本對應的臉部特征進行特效渲染處理，得到包括所述臉部特征的臉部圖像，并對所述臉部圖像和背景圖像進行合成處理，得到對應所述虛擬主播的圖像幀；

基于所述虛擬主播的圖像幀和對應所述給定文本的音頻數據，合成對應所述給定文本的推流數據包，并繼續處理對應下一個給定文本的至少一個媒體數據包，以得到對應下一個給定文本的推流數據包；

當形成對應任意一個給定文本的推流數據包時，向客戶端發送形成的推流數據包。

2.根據權利要求1所述的方法，其特征在于，所述基于所述虛擬主播的音頻數據和臉部特征，形成至少一個媒體數據包，包括：

對所述給定文本進行劃分處理，得到對應所述給定文本的多個語段；

生成對應任意一個所述語段的媒體數據包，并繼續實時處理下一個語段，以生成對應所述下一個語段的媒體數據包；

其中，所述媒體數據包包括對應所述語段的音頻數據和臉部特征，且對應所述語段的音頻數據和臉部特征與所述虛擬主播對應。

3.根據權利要求1所述的方法，其特征在于，所述根據所述給定文本實時獲取對應所述虛擬主播的音頻數據，包括：

當接收到所述給定文本時，實時將所述給定文本轉化為對應所述給定文本的詞向量；

對所述詞向量進行編碼處理以及解碼處理，得到對應所述詞向量的音頻特征；

對所述音頻特征進行合成處理，得到對應所述虛擬主播的音頻數據。

4.根據權利要求1所述的方法，其特征在于，所述根據所述給定文本實時獲取對應所述虛擬主播的臉部特征，包括：

根據對應所述給定文本的音頻數據，預測所述虛擬主播的嘴部關鍵點，并對所述嘴部關鍵點進行歸一化處理，以使所述嘴部關鍵點適應于標準面部模板；

對經過歸一化處理的嘴部關鍵點進行降維處理，得到對應所述虛擬主播的口型特征；

對所述給定文本進行語義分析，得到所述給定文本所表征的語義；

根據所述給定文本所表征的語義，確定與所述語義匹配的臉部表情特征，并結合所述口型特征以及所述臉部表情特征形成對應所述虛擬主播的臉部特征。

5.根據權利要求4所述的方法，其特征在于，對所述嘴部關鍵點進行歸一化處理之前，所述方法還包括：

向區塊鏈網絡發送查詢交易，其中，所述查詢交易指示了用于查詢所述區塊鏈網絡中賬本的智能合約，以使

所述區塊鏈網絡中的共識節點通過執行所述智能合約的方式來查詢所述賬本，得到所述賬本中存儲的所述標準面部模板；或者

根據所述標準面部模板的標識，從標準面部模板數據庫中查詢所述標識對應的所述標準面部模板，并確定所述查詢到的標準面部模板的哈希值；

從區塊鏈網絡中查詢所述標識對應的哈希值，當所查詢到的哈希值與所述確定的哈希值一致時，確定所述查詢到的標準面部模板未經篡改。

6.根據權利要求1所述的方法，其特征在于，在形成至少一個媒體數據包之前，所述方法還包括：

將所述給定文本發送至區塊鏈網絡，以使

所述區塊鏈網絡中的共識節點通過執行智能合約的方式來對所述給定文本進行合規性檢查；

當接收到超過預設數目的共識節點返回的合規性確認時，確定所述給定文本通過所述合規性檢查。