[發明專利]一種視頻會議背景虛擬化處理方法和裝置

有效

• 申請號: 202110675570.0
• 申請日: 2021-06-18
• 公開（公告）號: CN113362455B
• 公開（公告）日: 2022-02-15
• 發明（設計）人: 尹志誠
• 申請（專利權）人: 特斯聯科技集團有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T5/50;G06T7/33;G06T7/73;G06T7/00;G06F16/2455;G06F16/35;G06F40/279;G06V10/46;G06N3/04;G06N3/08
• 代理公司: 北京春江專利商標代理事務所(普通合伙) 11835
• 代理人: 曹潔

本發明公開了一種視頻會議背景虛擬化處理方法和裝置，涉及三維計算機視覺技術領域，該方法包括獲取視頻會議的第一聲音信息，根據第一深度學習網絡模型對其進行標注，獲得第一會議內容關鍵詞并據此識別獲得第一會議主題集；獲取第一會議主題集中一個第一會議主題元素內容后，查詢獲得與其相匹配的第一背景；根據目標空間定位數據生成目標的最小外接長方體并據此選取第一背景的大小；將選取獲得的第一背景和目標空間定位數據進行合成，獲得背景虛擬化后的視頻會議內容并輸出。本發明通過3D TOF測量、目標檢測及圖像提取技術，可在預設距離范圍內以參會者為中心布局定制視頻會議顯示空間及特色背景，實現智慧屏視頻會議的背景虛擬化。

技術領域

本發明涉及三維計算機視覺技術領域，具體涉及一種視頻會議背景虛擬化處理方法和裝置。

背景技術

隨著移動互聯網的發展，人們普遍開始從網絡上進行視頻交流，例如視頻會議等。現有的視頻會議都是直接將多方會議場景進行實時轉播，所以需要將會議背景進行清理，參會者除了能觀看到主要參會人員和桌椅等會議場景以外，還有會議背景等影響會議環境的冗余信息。這些背景的顯示大大影響了進行視頻會議的可移動性和適用范圍，所以需要將特定的背景內容替換這些冗余背景，從而可以達到不同的會議效果和目的。例如，增加視頻會議背景的趣味性等。

例如，公開號為CN105678724A的中國專利中公開了一種“圖像的背景替換方法及裝置”，其是基于圖像幀的RGB分量，計算出綠色差值，基于綠色差值得到初始背景圖像和初始前景圖像，再基于環境光因子對背景和前景進行柔化處理，再將待合成的背景圖像和經處理的前景圖像進行合成。這種方式在分離背景圖像和前景圖像時，通常無法實現高精度的分離。

發明內容

因此，為了克服上述缺陷，本發明實施例提供一種高精度的視頻會議背景虛擬化處理方法和裝置。

為此，本發明實施例的一種視頻會議背景虛擬化處理方法，包括以下步驟：

獲取視頻會議的第一預設時間段內的第一聲音信息，根據預先構建的第一深度學習網絡模型對所述第一聲音信息進行標注，獲得第一會議內容關鍵詞；

根據所述第一會議內容關鍵詞識別獲得第一會議主題集，并輸出包含所述第一會議主題集內容的消息；

獲取所述消息的應答消息，所述應答消息包含所述第一會議主題集中一個第一會議主題元素內容；

根據所述一個第一會議主題元素，查詢獲得與其相匹配的第一背景；

獲取視頻會議的目標空間定位數據；

根據所述目標空間定位數據生成目標的最小外接長方體，以所述最小外接長方體為中心向四周擴大預設距離后所達到的邊界作為虛擬背景邊界，按照所述虛擬背景邊界的大小選取所述第一背景的大小；

將選取獲得的所述第一背景和所述目標空間定位數據進行合成，獲得背景虛擬化后的視頻會議內容并輸出。

優選地，采用卷積神經網絡或循環神經網絡構建第一深度學習網絡模型的步驟包括：

收集各種語料，標注每條語料的內容關鍵詞，獲得第一訓練樣本；

用所述第一訓練樣本訓練網絡，當網絡收斂時，獲得所述第一深度學習網絡模型。

優選地，根據所述第一會議內容關鍵詞識別獲得第一會議主題集的步驟包括：

收集各種會議主題樣本料，對其進行聚類，獲得相應的分類；

收集各種內容關鍵詞詞料，標注可與每個內容關鍵詞對應的會議主題集，獲得第二訓練樣本；

用所述第二訓練樣本訓練第二深度學習網絡模型，當網絡收斂時，獲得所述第二深度學習網絡模型。