[發明專利]一種移動Web實時視頻幀分割方法及系統

在審

• 申請號: 201911121432.7
• 申請日: 2019-11-15
• 公開（公告）號: CN110889857A
• 公開（公告）日: 2020-03-17
• 發明（設計）人: 喬秀全;黃亞坤;商彥磊
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T1/20
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王宇楊

本發明提供一種移動Web實時視頻幀分割方法及系統，方法包括：接收Web端發送的視頻幀分割請求；根據視頻幀分割請求向Web端反饋當前網絡狀態和邊緣服務器端的狀態信息；邊緣服務器端對視頻幀的實時分割性能達到設定分割性能時；在邊緣服務器端進行視頻幀的切分和圖分割處理，得到分割處理結果。本發明利用邊緣服務器的高帶寬、低時延特點降低了移動Web端實時獲取視頻幀的傳輸時延，以及在邊緣服務器對視頻幀進行分割，在保證視頻幀分割效果的提前下，同時保證視頻幀分割的效率。

技術領域

本發明屬于視頻幀分割技術領域，尤其涉及一種移動Web實時視頻幀分割方法及系統。

背景技術

視頻幀分割是將視頻幀圖像分割為具有相似屬性的不同區域的過程，也是計算機視覺任務的預處理步驟。圖像分割在場景理解、物體檢測和3D重建等應用中起著重要的作用，并且廣泛應用于增強現實、醫學圖像分析、自動駕駛和安全監控等領域中。將視頻幀圖像分割與Web技術相結合能夠為移動用戶提供輕量化、跨平臺和普適的Web AI應用程序奠定了良好的基礎，從而使得這些應用能夠更好地感知并于現實世界進行交互。此外，萬維網聯盟(W3C)的沉浸式網絡工作組和沉浸式網絡社區組正積極創建沉浸式的Web平臺，為開發實時的智能應用程序提供可靠的技術與工具。因此，為了在Web端上提供流暢、實時的視頻幀圖像分割，最重要的評估指標是實時視頻幀的分割性能。

已有的視頻幀分割方法都難以直接應用于移動Web應用中，無法滿足實時性要求。傳統的視頻幀分割通常是在Web端進行或者在云端服務器進行，在Web端進行視頻幀的分割，分割的效率比較高，但是分割效果不好；云端服務器分割效果比較好，但是效率不高，

發明內容

為克服上述現有問題或者至少部分地解決上述問題，本發明實施例提供一種移動Web實時視頻幀分割方法及系統。

根據本發明實施例的第一方面，提供一種移動Web實時視頻幀分割方法，包括：

接收Web端發送的視頻幀分割請求；

根據所述視頻幀分割請求向Web端反饋當前網絡狀態和邊緣服務器端的狀態信息，以使得Web端根據所述當前網絡狀態和邊緣服務器端的狀態信息，判斷邊緣服務器端對視頻幀的實時分割性能是否達到設定分割性能；

若是，則在邊緣服務器端進行視頻幀的切分和圖分割處理，得到分割處理結果；

將所述分割處理結果反饋至Web端。

在上述技術方案的基礎上，本發明還可以作出如下改進。

進一步的，所述邊緣服務器的狀態信息包括邊緣服務器的負載，所述判斷邊緣服務器端對視頻幀的實時分割性能是否達到設定分割性能包括：

當邊緣服務器的負載未超過最大設定負載且邊緣服務器對視頻幀的處理頻率滿足設定頻率時，確定邊緣服務器對視頻幀的實時分割性能達到設定分割性能。

進一步的，所述邊緣服務器的負載包括邊緣服務器的CPU負載和I/O負載。

進一步的，所述在邊緣服務器端進行視頻幀的切分和圖分割處理，得到分割處理結果包括：

邊緣服務器對所述視頻幀進行切分，形成多個視頻幀碎片；

對多個所述視頻幀碎片進行并行流處理并進行圖分割處理，得到分割處理結果。

進一步的，所述對多個所述視頻幀碎片進行并行圖分割處理，得到分割處理結果包括：

基于超像素的預分割算法對多個所述視頻幀碎片進行分割處理，得到第一分割處理結果；

基于非實時的深度學習DNN分割算法對多個所述視頻幀碎片進行分割處理，得到第二分割處理結果；

利用所述第二分割處理結果對所述第一分割結果進行修正，形成最終的分割處理結果。