[發明專利]直播音視頻處理方法、裝置、服務器及可讀存儲介質

在審

• 申請號: 202210041218.6
• 申請日: 2022-01-14
• 公開（公告）號: CN114422814A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 劉峰;康世胤;司季雨;吳曉東;吳創林;盧佐卿;林曉潔;李倩鳴;戴培賢
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/233;H04N21/234;H04N21/478;A63F13/814
• 代理公司: 成都極刻智慧知識產權代理事務所(普通合伙) 51310
• 代理人: 張紅平

1.一種直播音視頻處理方法，其特征在于，應用于服務器，所述服務器通信連接主播端和觀眾端，所述方法包括：

接收所述主播端選擇的互動音樂，獲取所述互動音樂的音頻流所對應的互動節奏視頻流，其中，所述互動節奏視頻流包括互動界面的視頻幀以及與位于所述互動界面中與所述互動音樂的音樂節奏對應的節奏互動點；

將所述音頻流和所述互動節奏視頻流發送給所述觀眾端，由所述觀眾端進行播放及顯示。

2.如權利要求1所述的直播音視頻處理方法，其特征在于，所述接收所述主播端選擇的互動音樂，獲取所述互動音樂的音頻流所對應的互動節奏視頻流的步驟，包括：

確定所述互動音樂是否為預設音樂數據庫中的目標音樂，其中，所述預設音樂數據庫中存儲有所述目標音樂的互動節奏視頻；

若所述互動音樂為所述預設音樂數據庫中的目標音樂，獲取所述互動音樂的音頻流對應的互動節奏視頻流；若所述互動音樂不是所述預設音樂數據庫中的目標音樂，則基于所述互動音樂的音頻流實時生成所述互動音樂對應的互動節奏視頻流。

3.如權利要求2所述的直播音視頻處理方法，其特征在于，在所述接收所述主播端選擇的互動音樂，獲取所述互動音樂的音頻流所對應的互動節奏視頻流的步驟之前，所述方法還包括：

對所述預設音樂數據庫中的目標音樂進行音頻頻譜分析得到各個目標音樂的頻譜分析結果；

將所述各個目標音樂的頻譜分析結果輸入節奏互動點確定模型中，得到所述各個目標音樂的互動節奏視頻，其中，所述節奏互動點確定模型基于樣本頻譜分析結果以及樣本互動節奏視頻訓練得到，所述樣本頻譜分析結果中標注有音樂的音樂節奏位置，所述樣本互動節奏視頻流中標注有與所述音樂的音樂節奏位置對應的節奏互動點；

將所述各個目標音樂的互動節奏視頻存儲到所述預設音樂數據庫中。

4.如權利要求3所述的直播音視頻處理方法，其特征在于，所述確定所述互動音樂是否為預設音樂數據庫中的目標音樂的步驟，包括：

對所述預設音樂數據庫中各個目標音樂進行音頻指紋特征提取，得到各所述目標音樂的音頻指紋特征；

基于所述互動音樂的音頻流，對所述互動音樂進行音頻指紋特征提取，得到所述音頻流對應的音頻指紋特征；

將所述音頻流對應的音頻指紋特征與所述預設音樂數據庫中各所述目標音樂的音頻指紋特征進行匹配，得到匹配結果；

根據所述匹配結果確定所述互動音樂是否為所述預設音樂數據庫中的目標音樂。

5.如權利要求4所述的直播音視頻處理方法，其特征在于，所述若所述互動音樂為所述預設音樂數據庫中的目標音樂，獲取所述互動音樂的音頻流對應的互動節奏視頻流；若所述互動音樂不是所述預設音樂數據庫中的目標音樂，則基于所述互動音樂的音頻流實時生成所述互動音樂對應的互動節奏視頻流的步驟，包括：

在所述互動音樂的音頻流對應的音頻指紋特征與所述預設音樂數據庫中的任意目標音樂的音頻指紋特征匹配時，將匹配的目標音樂的互動節奏視頻中與所述互動音樂的音頻流對應的視頻流作為所述互動節奏視頻流；

在所述互動音樂的音頻流對應的音頻指紋特征與所述預設音樂數據庫中各所述目標音樂的音頻指紋特征都不匹配時，將預設時間長度的音頻流輸入節奏互動點預測模型中進行預測，得到與所述預設時間長度的音頻流對應的互動節奏視頻流，其中，所述節奏互動點預測模型通過預設時間長度的音頻流樣本以及對應的互動節奏視頻流樣本訓練得到，所述預設時間長度的音頻流樣本標注有音樂的音樂節奏位置，所述互動節奏視頻流樣本中標注有與所述預設時間長度的音頻流的音樂節奏位置對應的節奏互動點。

6.如權利要求4或5所述的直播音視頻處理方法，其特征在于，在所述獲取所述互動音樂的音頻流所對應的互動節奏視頻流的步驟之后，所述方法還包括：

在所述互動音樂的音頻流對應的音頻指紋特征與所述預設音樂數據庫中的任意目標音樂的音頻指紋特征匹配時，將所述音頻流與所述互動節奏視頻中的互動節奏視頻流進行對齊處理，得到對齊后的音視頻流；

所述將所述音頻流和所述互動節奏視頻流發送給所述觀眾端，由所述觀眾端進行播放及顯示的步驟，包括：

將對齊后的音視頻流發送給所述觀眾端，由所述觀眾端進行播放及顯示。