[發明專利]視頻流的生成方法、裝置、設備及存儲介質

有效

• 申請號: 202011643811.5
• 申請日: 2020-12-30
• 公開（公告）號: CN112788278B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 曹璨;李崢;戴寧;姜俊;王昕;魏建強;付明鑫
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: H04N7/15
• 分類號: H04N7/15;H04N23/67;G10L21/0208;H04L65/403;H04L65/60;H04L65/80
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王萌

1.一種視頻流的生成方法，包括：

當監測到語音數據時，獲取通過預設的全景攝像頭采集的與所述語音數據對應的多張全景圖像，分析每張全景圖像中用戶的唇形特征，將包含相同人臉特征的唇形特征按照拍攝順序組成唇部特征序列，將所述唇部特征序列輸入到預先訓練的深度學習模型，以得到參考語音數據，根據所述參考語音數據和所述語音數據確定與所述語音數據對應的第一發言用戶；

控制預設攝像頭對焦所述第一發言用戶拍攝第一視頻幀圖像；

采集所述第一發言用戶的第一發言數據；

提取所述第一發言數據中包含的多種語音頻率，識別所述多種語音頻率中與預設語音頻率匹配的至少一個候選語音頻率，識別每個所述候選語音頻率的第二方向，將多個第二方向分別與所述第一發言用戶的第一方向進行匹配，提取匹配成功的第二方向上的候選語音頻率為目標語音頻率，將與所述目標語音頻率對應的語音數據作為第一目標數據；

根據所述第一目標數據和所述第一視頻幀圖像生成視頻流。

2.如權利要求1所述的方法，還包括：

在監測到所述語音數據時開始計時；

根據計時結果判斷在預設時長內是否監測到第二發言用戶的語音數據；

若監測到所述第二發言用戶的語音數據，則控制所述預設攝像頭對焦所述第一發言用戶和所述第二發言用戶拍攝第二視頻幀圖像，并采集所述第一發言用戶和所述第二發言用戶的第二發言數據；

對所述第二發言數據中的噪音數據進行去噪處理，得到第二目標數據；

根據所述第二目標數據和所述第二視頻幀圖像生成視頻流。

3.如權利要求2所述的方法，其中，在所述根據計時結果判斷在預設時長內是否監測到第二發言用戶的語音數據之后，還包括：

若沒有監測到所述第二發言用戶的語音數據，則控制所述預設攝像頭進入全景拍攝模式。

4.一種視頻流的生成裝置，包括：

確定模塊，用于當監測到語音數據時，獲取通過預設的全景攝像頭采集的與所述語音數據對應的多張全景圖像，分析每張全景圖像中用戶的唇形特征，將包含相同人臉特征的唇形特征按照拍攝順序組成唇部特征序列，將所述唇部特征序列輸入到預先訓練的深度學習模型，以得到參考語音數據，根據所述參考語音數據和所述語音數據確定與所述語音數據對應的第一發言用戶；

拍攝模塊，用于控制預設攝像頭對焦所述第一發言用戶拍攝第一視頻幀圖像；

采集模塊，用于采集所述第一發言用戶的第一發言數據；

去噪模塊，用于提取所述第一發言數據中包含的多種語音頻率，識別所述多種語音頻率中與預設語音頻率匹配的至少一個候選語音頻率，識別每個所述候選語音頻率的第二方向，將多個第二方向分別與所述第一發言用戶的第一方向進行匹配，提取匹配成功的第二方向上的候選語音頻率為目標語音頻率，將與所述目標語音頻率對應的語音數據作為第一目標數據；

生成模塊，用于根據所述第一目標數據和所述第一視頻幀圖像生成視頻流。

5.如權利要求4所述的裝置，還包括：

計時模塊，用于在監測到所述語音數據時開始計時；

判斷模塊，用于根據計時結果判斷在預設時長內是否監測到第二發言用戶的語音數據；

所述拍攝模塊，還用于在監測到所述第二發言用戶的語音數據時，控制所述預設攝像頭對焦所述第一發言用戶和所述第二發言用戶拍攝第二視頻幀圖像；

所述采集模塊，還用于采集所述第一發言用戶和所述第二發言用戶的第二發言數據；

所述去噪模塊，還用于對所述第二發言數據中的噪音數據進行去噪處理，得到第二目標數據；

所述生成模塊，還用于根據所述第二目標數據和所述第二視頻幀圖像生成視頻流。

6.如權利要求5所述的裝置，所述判斷模塊，具體用于：

在沒有監測到所述第二發言用戶的語音數據時，控制所述預設攝像頭進入全景拍攝模式。