[發明專利]一種云端和邊緣計算融合的視頻會議信息系統和方法

在審

• 申請號: 202010304820.5
• 申請日: 2020-04-17
• 公開（公告）號: CN111405234A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 徐佳輝;萬小貞;萬志強
• 申請（專利權）人: 杭州大軼科技有限公司
• 主分類號: H04N7/15
• 分類號: H04N7/15;G06K9/00;G06K9/32;G06T5/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種云端和邊緣計算融合的視頻會議信息系統，其特性在于，包括云端服務器和多個用戶終端，每個用戶終端均包括功能增強模塊和網絡檢測模塊；用戶終端用于獲取當前用戶的會議場景音視頻，展示視頻會議其他用戶的會議場景音視頻；網絡檢測模塊用于實時監測并判斷網絡狀態，功能增強模塊用于對會議場景音視頻進行功能增強；云端服務器用于根據相應用戶終端上傳的會議場景音視頻建立和實時訓練相應的云端會議場景模型，該云端會議場景模型和相應的視頻會議用戶擬合，并將計算處理后的會議場景音視頻分別傳輸給視頻會議其他用戶終端。

2.根據權利要求1所述的視頻會議信息系統，其特性在于，所述功能增強模塊用于對會議場景音視頻進行功能增強，包括提取人臉ROI特征進行人臉檢測、人臉美顏增強、畫質增強、提取畫面前景區域ROI特征檢測進行背景模糊化、語音增強、語音保真還原和環境噪聲去除。

3.根據權利要求1所述的視頻會議信息系統，其特性在于，根據每個用戶終端上傳的會議場景音視頻的數據量，來判斷對應的云端會議場景模型對網絡狀態的容忍度；當用戶終端上傳的會議場景音視頻的數據量小于預設閾值，對應的云端會議場景模型和該用戶的擬合度低，則判斷對應的云端會議場景模型對網絡狀態的容忍度高，采用功能增強模塊對當前用戶的會議場景音視頻進行功能增強；當用戶終端上傳的會議場景音視頻的數據量大于預設閾值，對應的云端會議場景模型和該用戶的擬合度高，則判斷對應的云端會議場景模型對網絡狀態的容忍度低，采用當前用戶的基礎數據融合計算虛擬完整的會議場景音視頻。

4.根據權利要求1所述的視頻會議信息系統，其特性在于，當網絡狀態惡劣時，用戶終端將當前用戶的會議基礎數據信息上傳到到云端服務器，對應用戶的云端會議場景模型停止訓練，所述用戶終端根據該用戶終端采集的會議場景音視頻建立和訓練對應的用戶端會議場景模型；當網絡狀態恢復良好時，對應的云端會議場景模型繼續訓練，用戶端會議場景模型將當前用戶的模型訓練數據同步到對應的云端會議場景模型。

5.根據權利要求1所述的視頻會議信息系統，其特性在于，所述網絡檢測模塊根據數據包的丟包率、數據包發送后的反饋時延來判斷當前的網絡狀態。

6.如權利要求1~5任一所述視頻會議信息系統的使用方法，其特征在于，包括以下步驟：

S1：通過用戶終端獲取當前用戶的會議場景音視頻，展示視頻會議其他用戶的會議場景音視頻；

S2：采用功能增強模塊對會議場景音視頻進行功能增強，并將增強后的會議場景音視頻上傳到到云端服務器；云端服務器根據相應用戶終端上傳的會議場景音視頻建立和實時訓練相應的云端會議場景模型，該云端會議場景模型和相應的視頻會議用戶擬合；

S3：采用網絡檢測模塊實時監測網絡狀態，并實時判斷網絡狀態是否良好；若是，則執行步驟S4，若否，則執行步驟S5；

S4：采用功能增強模塊對當前用戶的會議場景音視頻進行功能增強，并將增強后的會議場景音視頻上傳到到云端服務器；云端服務器將增強后的會議場景音視頻分別傳輸給視頻會議其他用戶終端；

S5：用戶終端將當前用戶的會議基礎數據信息上傳到到云端服務器，相應的云端會議場景模型根據該用戶的基礎數據融合計算虛擬完整的會議場景音視頻；云端服務器將虛擬完整的會議場景音視頻分別傳輸給視頻會議其他用戶終端。

7.根據權利要求6所述的視頻會議信息方法，其特征在于，所述采用功能增強模塊對會議場景音視頻進行功能增強，包括提取人臉ROI特征進行人臉檢測、人臉美顏增強、畫質增強、提取畫面前景區域ROI特征檢測進行背景模糊化、語音增強、語音保真還原和環境噪聲去除。