[發明專利]直播間內的音頻替換方法、系統、裝置及計算機設備

在審

• 申請號: 202210208196.8
• 申請日: 2022-03-03
• 公開（公告）號: CN114630144A
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 曾家樂
• 申請（專利權）人: 廣州方硅信息技術有限公司
• 主分類號: H04N21/233
• 分類號: H04N21/233;H04N21/2187;H04N21/258;H04N21/439;G10L15/22;G10L15/26;G10L15/30;G10L13/02
• 代理公司: 廣州駿思知識產權代理有限公司 44425
• 代理人: 潘桂生;孫小玉

本申請涉及網絡直播技術領域，提出一種直播間內的音頻替換方法、系統、裝置及計算機設備，該方法包括：服務器響應于音頻轉化指令，獲取第一發言人信息和第一發言人信息對應的第一音頻流數據；將第一音頻流數據轉化為第一文本流數據；根據第一發言人信息，確定第一文本流數據對應的第一發言人標識，將第一文本流數據和第一文本流數據對應的第一發言人標識發送至直播間內的觀眾客戶端；觀眾客戶端響應于音頻生成指令，輸入第一文本流數據至第一發言人標識對應的音頻生成模型，得到第二音頻流數據；觀眾客戶端替換直播內輸出的第一音頻流數據為第二音頻流數據。相對于現有技術，本申請能夠有效改善音頻卡頓的現象，提高觀眾的直播體驗。

技術領域

本申請實施例涉及網絡直播技術領域，尤其涉及一種直播間內的音頻替換方法、系統、裝置及計算機設備。

背景技術

隨著通信技術和流媒體技術的快速發展，網絡直播受到了越來越多用戶的喜愛，多種多樣的線下活動都可以在網絡直播間內開展，例如：訪談活動、游戲活動以及相親活動等。

在網絡直播過程中，主播客戶端會實時采集音視頻流數據，并對音視頻流數據進行編碼，之后，將編碼后的音視頻流數據發送至服務器，加入直播間(即，直播頻道)的觀眾客戶端再從服務器拉取編碼后的音視頻流數據，并對其進行解碼播放，從而使觀眾能夠在直播間內觀看到直播內容。

在上述過程中，由于網絡傳輸速率低、數據包丟失以及編解碼復雜度高等眾多因素的干擾，常常會導致直播間內出現音視頻卡頓的現象，從而影響觀眾的網絡直播體驗，造成觀眾的流失，并且，實時的音視頻流數據的傳輸和編解碼，也容易導致服務器和客戶端的負載過高，并大量消耗觀眾的可使用流量。

發明內容

本申請實施例提供了一種直播間內的音頻替換方法、系統、裝置及計算機設備，可以解決由于音視頻卡頓以及流量消耗過多，所導致的觀眾網絡直播體驗差、觀眾流失的技術問題，該技術方案如下：

第一方面，本申請實施例提供了一種直播間內的音頻替換方法，包括步驟：

服務器響應于音頻轉化指令，獲取第一發言人信息和所述第一發言人信息對應的第一音頻流數據；將所述第一音頻流數據轉化為第一文本流數據；根據所述第一發言人信息，確定所述第一文本流數據對應的第一發言人標識，將所述第一文本流數據和所述第一文本流數據對應的第一發言人標識發送至直播間內的觀眾客戶端；其中，所述第一發言人信息為所述直播間內的當前發言人對應的發言人信息；

所述觀眾客戶端響應于音頻生成指令，獲取所述第一文本流數據和所述第一文本流數據對應的第一發言人標識；輸入所述第一文本流數據至所述第一發言人標識對應的預訓練好的音頻生成模型，得到第二音頻流數據；其中，所述第一發言人標識對應的預訓練好的音頻生成模型為根據所述第一發言人標識對應的音頻流訓練數據和所述第一發言人標識對應的文本流訓練數據進行訓練得到的，所述第一發言人標識對應的文本流訓練數據為轉換所述第一發言人標識對應的音頻流訓練數據得到的；

所述觀眾客戶端替換所述直播內輸出的所述第一音頻流數據為所述第二音頻流數據。

第二方面，本申請實施例提供了一種直播間內的音頻替換系統，包括：服務器和觀眾客戶端；

所述服務器用于響應于音頻轉化指令，獲取第一發言人信息和所述第一發言人信息對應的第一音頻流數據；將所述第一音頻流數據轉化為第一文本流數據；根據所述第一發言人信息，確定所述第一文本流數據對應的第一發言人標識，將所述第一文本流數據和所述第一文本流數據對應的第一發言人標識發送至直播間內的所述觀眾客戶端；其中，所述第一發言人信息為所述直播間內的當前發言人對應的發言人信息；