[發明專利]一種網絡直播音視頻處理方法及系統

有效

• 申請號: 202011367403.1
• 申請日: 2020-11-27
• 公開（公告）號: CN112702615B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 梁小江;郝松;蒲莉娟;黃禎福
• 申請（專利權）人: 深圳市創成微電子有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/233;H04N21/2343;H04N21/439;H04N21/4402;H04N21/472;G06V10/80
• 代理公司: 深圳市君之泉知識產權代理有限公司 44366
• 代理人: 呂戰竹

1.一種網絡直播音視頻處理方法，其特征在于，用于網絡直播音視頻處理系統中，所述網絡直播音視頻處理系統包括網絡直播裝置和外接控制設備，所述網絡直播裝置內設置有第一處理模塊和第二處理模塊，所述外接控制設備內設置有第三處理模塊，該方法包括以下步驟：

獲取音視頻數據步驟：實時獲取直播圖像和直播音頻數據；

音頻數據處理步驟：通過DSP處理器將所述直播音頻數據轉化為數字音頻數據；

直播數據形成步驟：通過所述第一處理模塊將所述直播圖像轉化為數字圖像數據，根據所述數字圖像數據和與所述數字圖像數據時間匹配的數字音頻數據形成直播數據，并將所述直播數據發送至所述第三處理模塊；

獲取深度信息步驟：實時獲取每幀直播圖像的深度信息；

深度信息處理步驟：通過所述第二處理模塊將獲取的深度信息轉化為深度值，并發送至所述第三處理模塊；

圖像處理步驟：將每幀的深度值賦值到所述直播數據中的對應幀數字圖像數據的對應區域中，分離出設定區域中深度值小于設定深度值的圖像數據作為第一圖像數據，所述第一圖像數據對應的圖像為前景圖像；其中，所述設定區域指主播在直播畫面上的活動區域，其位于所述直播圖像的范圍內；

背景圖像數據獲取步驟：獲取一幀背景圖像的圖像數據作為第二圖像數據；

圖像融合步驟：將所述第一圖像數據覆蓋所述第二圖像數據中相應位置的數據，以使得前景圖像與背景圖像融合，得到該幀直播圖像對應的實時的融合圖像數據，所述融合圖像數據對應的圖像為融合圖像；

數據輸出步驟：輸出該幀融合圖像數據以及與該幀融合圖像數據時間匹配的數字音頻數據。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

響應于調整設定區域的控制指令，改變所述設定區域的位置和范圍。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

響應于調整設定深度值的控制指令，改變所述設定深度值的數值。

4.根據權利要求1所述的方法，其特征在于，所述背景圖像包括靜態背景圖像和/或動態背景圖像，

當所述背景圖像采用靜態背景圖像時，每一幀所述背景圖像所對應的所述第二圖像數據均相同。

5.根據權利要求1所述的方法，其特征在于，所述直播圖像的尺寸與所述背景圖像的尺寸相同，所述前景圖像與所述背景圖像的融合位置與所述前景圖像在所述直播圖像上的位置相同。

6.根據權利要求1-5任一項所述的方法，其特征在于，還包括預測步驟：

根據當前幀前景圖像在當前幀直播圖像中的位置和范圍預測下一幀前景圖像在下一幀直播圖像中的位置和范圍，得到預測區域；

在對下一幀直播圖像進行圖像處理時，將所述預測區域作為所述設定區域。