[發明專利]一種云端和邊緣計算融合的視頻會議信息系統和方法

在審

• 申請號: 202010304820.5
• 申請日: 2020-04-17
• 公開（公告）號: CN111405234A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 徐佳輝;萬小貞;萬志強
• 申請（專利權）人: 杭州大軼科技有限公司
• 主分類號: H04N7/15
• 分類號: H04N7/15;G06K9/00;G06K9/32;G06T5/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供了一種云端和邊緣計算融合的視頻會議信息系統和方法，系統包括云端服務器和多個用戶終端，每個用戶終端均包括功能增強模塊和網絡檢測模塊；用戶終端用于獲取當前用戶的會議場景音視頻，網絡檢測模塊用于實時監測并判斷網絡狀態，功能增強模塊用于對會議場景音視頻進行功能增強；云端服務器用于根據相應用戶終端上傳的會議場景音視頻建立和訓練相應的云端會議場景模型，并將計算處理后的會議場景音視頻分別傳輸給視頻會議其他用戶終端。通過該系統和方法，可以根據實時網絡環境決定會議場景構建和功能增強的執行主體是云端節點或邊緣節點，具有視頻會議連接穩定、音視頻會議場景高質流暢、語音保真還原和環境噪音小等優點。

技術領域

本發明涉及云計算、邊緣計算和通信技術領域，具體涉及一種云端和邊緣計算融合的視頻會議信息系統和方法。

背景技術

視頻會議，是指兩個或兩個以上不同地方的個人或群體，通過傳輸線路及多媒體設備，將聲音、影像及文件資料互傳，實現即時且互動的溝通。視頻會議的使用類似電話，除了能看到與你通話的人并進行語言交流外，還能看到他們的表情和動作，使處于不同地方的人就像在同一會議室內溝通。隨著視頻會議系統的廣泛使用，在基本的多方語音和視頻相互傳輸的基礎上，增加集成了越來越多的功能，比如影像畫質增強、語音音質增強和環境噪聲去除等等，從而來增強視頻會議的會議效果，方便了工作交流。

視頻會議時通信質量很重要，會受通信網絡環境較大的影響，目前，視頻會議系統存在以下不足：1、當下大部分的視頻會議都是以智能手機等移動設備作為會議終端，然后通過移動互聯網作為傳輸途徑，不同的區域或空間移動網絡的信號差距會很大，比如，用wifi網絡時距路由器越近信號越好，在車庫、地鐵站和電梯等封閉空間移動網絡信號很差，這些因素會導致移動網絡出現網速不穩定和視頻連接不穩定，從而影響頻會議效果。2、視頻會議時，影像畫質增強、語音音質增強和環境噪聲去除等功能會增大移動網絡的數據傳輸量，從而帶來更長的網絡延遲，當網絡環境不好的時候上述功能會出現被迫關閉、加劇視頻會議的卡頓或中斷等現象。

發明內容

針對現有技術存在的上述不足，本發明的目的在于：提供一種云端和邊緣計算融合的視頻會議信息系統和方法，以視頻會議的用戶終端作為邊緣節點、以云端服務器作為云端節點，二者融合計算來實現視頻會議的音視頻會議場景構建以及各種功能增強，可以根據實時網絡環境決定會議場景構建和功能增強的執行主體是云端節點或邊緣節點，具有視頻會議連接穩定、音視頻會議場景高質流暢、語音保真還原和環境噪音小等優點。

一種云端和邊緣計算融合的視頻會議信息系統，包括云端服務器和多個用戶終端，每個用戶終端均包括功能增強模塊和網絡檢測模塊；用戶終端用于獲取當前用戶的會議場景音視頻，展示視頻會議其他用戶的會議場景音視頻；網絡檢測模塊用于實時監測并判斷網絡狀態，功能增強模塊用于對會議場景音視頻進行功能增強；云端服務器用于根據相應用戶終端上傳的會議場景音視頻建立和實時訓練相應的云端會議場景模型，該云端會議場景模型和相應的視頻會議用戶擬合，并將計算處理后的會議場景音視頻分別傳輸給視頻會議其他用戶終端。

進一步地，所述功能增強模塊用于對會議場景音視頻進行功能增強，包括提取人臉ROI特征進行人臉檢測、人臉美顏增強、畫質增強、提取畫面前景區域ROI特征檢測進行背景模糊化、語音增強、語音保真還原和環境噪聲去除。

進一步地，根據每個用戶終端上傳的會議場景音視頻的數據量，來判斷對應的云端會議場景模型對網絡狀態的容忍度；當用戶終端上傳的會議場景音視頻的數據量小于預設閾值，對應的云端會議場景模型和該用戶的擬合度低，則判斷對應的云端會議場景模型對網絡狀態的容忍度高，采用功能增強模塊對當前用戶的會議場景音視頻進行功能增強；當用戶終端上傳的會議場景音視頻的數據量大于預設閾值，對應的云端會議場景模型和該用戶的擬合度高，則判斷對應的云端會議場景模型對網絡狀態的容忍度低，采用當前用戶的基礎數據融合計算虛擬完整的會議場景音視頻。