[發明專利]一種云視頻會議中優化音視頻效果的方法

有效

• 申請號: 202011495518.9
• 申請日: 2020-12-17
• 公開（公告）號: CN112672090B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 胡鵬;劉清;馮文瀾
• 申請（專利權）人: 深圳隨銳視聽科技有限公司;隨銳科技集團股份有限公司
• 主分類號: H04N7/15
• 分類號: H04N7/15;H04N21/44;H04N21/4402;H04N21/61;H04N21/845;H04N19/149;H04N19/172;H04N19/587;H04L67/10;G06V40/16
• 代理公司: 成都睿道專利代理事務所(普通合伙) 51217
• 代理人: 胡可

本發明提供了一種云視頻會議中優化音視頻效果的方法，包括：對存儲在云端的視頻數據進行解碼并從中截取待處理的視頻幀，視頻數據為采集本地端對參會人員進行拍攝上傳至云端獲得；在采集本地端網絡波動狀況下，通過獲取參會人員各自所屬的行為軌跡預測以及根據行為軌跡預測提前準備的靜態圖像和虛擬場景，以靜態圖像和虛擬場景的結合替換視頻幀，進行視頻會議中網絡波動的視頻自動補幀；在采集本地端網絡波動狀況下，將由采集本地端采集的音頻數據翻譯成字幕以及生成智能音頻上傳至云端，通過字幕和智能音頻替換音頻數據，進行視頻會議中網絡波動的音頻效果的修復；實現網絡波動中音視頻數據的自動優化。

技術領域

本發明涉及網絡多媒體技術領域，具體而言，涉及一種云視頻會議中優化音視頻效果的方法。

背景技術

隨著計算機硬件和網絡技術的高速發展，傳統的通訊方式如電話、傳真等已無法滿足人們深層次的交流需求，近年來以聲音和視頻作為主要傳輸對象的多媒體通信成為當今通信領域研究的熱點。視頻會議系統作為一種現代化的辦公系統，它可以將不同會場的實時場景和語音互連起來，使各與會者有“面對面”交談的感覺。伴隨著通信技術的進一步提升，高質量的多媒體視頻會議也成為一種發展趨勢，被越來越多的人們所需求。

然而，音視頻通訊中依然存在很多技術問題影響與會者們的實際溝通效果，例如，視頻會議在遇到網絡波動時，往往會遇到以下難題：畫面卡頓、局部馬賽克；動態掉幀、聚焦不清晰；聲音模糊、唇音不同步；人物移動卡圖、且延遲過高等。因此，有待繼續研發在網絡波動的情況下，優化音視頻效果。

申請內容

本發明旨在克服現有技術的不足，針對視頻會議中遇到網絡波動時發生畫面卡頓、局部馬賽克；動態掉幀、聚焦不清晰；聲音模糊、唇音不同步；人物移動卡圖、且延遲過高等難題；本方法在視頻會議中，根據網絡波動狀況的優良選擇合適的音視頻數據發送策略，解決了視頻會議在網絡波動情況下音視頻效果的自動優化問題。

本發明的實施例通過以下技術方案實現：

一種云視頻會議中優化音視頻效果的方法，包括如下步驟：

步驟一，對存儲在云端的視頻數據進行解碼并從中截取待處理的視頻幀，所述視頻數據為采集本地端對參會人員進行拍攝上傳至云端獲得；

步驟二，在采集本地端網絡波動狀況下，通過獲取參會人員各自所屬的行為軌跡預測以及根據所述行為軌跡預測提前準備的靜態圖像和虛擬場景，以靜態圖像和虛擬場景的結合替換所述視頻幀，進行視頻會議中網絡波動的視頻自動補幀；

步驟三，在采集本地端網絡波動狀況下，將由采集本地端采集的音頻數據翻譯成字幕以及生成智能音頻上傳至云端，通過字幕和智能音頻替換所述音頻數據，進行視頻會議中網絡波動的音頻效果的修復。

根據一種優選實施方式,獲取參會人員各自所屬的行為軌跡預測包括如下步驟：

將所述待處理的視頻幀輸入人臉朝向識別模型，所述人臉朝向識別模型用于對所述待處理的視頻幀進行人臉特征提取，得到參會人員中關鍵人員的面部朝向信息，

將面部朝向信息輸入行為軌跡預判模型，所述行為軌跡預判模型基于云計算和所述面部朝向信息做出行為軌跡的預判，獲取關鍵人員的行為軌跡預判結果，所述行為軌跡預判模型是以攜帶動作編號的動態軌跡圖像為訓練樣本對第一基礎模型進行訓練得到的。

根據一種優選實施方式,音頻數據翻譯成字幕以及生成智能音頻包括如下步驟：

將所述音頻數據輸入數字音頻模型，所述數字音頻模型用于對所述音頻數據進行聲紋和音量大小提取，得到音頻數據中的聲紋編號和音量大小數據編號；

所述數字音頻模型是以攜帶聲紋編號和音量大小數據編號的音頻樣本為訓練樣本，對第三基礎模型進行訓練得到的；