[發明專利]一種移動Web實時視頻幀分割方法及系統

在審

• 申請號: 201911121432.7
• 申請日: 2019-11-15
• 公開（公告）號: CN110889857A
• 公開（公告）日: 2020-03-17
• 發明（設計）人: 喬秀全;黃亞坤;商彥磊
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T1/20
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王宇楊

1.一種移動Web實時視頻幀分割方法，其特征在于，包括：

接收Web端發送的視頻幀分割請求；

根據所述視頻幀分割請求向Web端反饋當前網絡狀態和邊緣服務器端的狀態信息，以使得Web端根據所述當前網絡狀態和邊緣服務器端的狀態信息，判斷邊緣服務器端對視頻幀的實時分割性能是否達到設定分割性能；

若是，則在邊緣服務器端進行視頻幀的切分和圖分割處理，得到分割處理結果；

將所述分割處理結果反饋至Web端。

2.根據權利要求1所述的視頻幀分割方法，其特征在于，所述邊緣服務器的狀態信息包括邊緣服務器的負載，所述判斷邊緣服務器端對視頻幀的實時分割性能是否達到設定分割性能包括：

當邊緣服務器的負載未超過最大設定負載且邊緣服務器對視頻幀的處理頻率滿足設定頻率時，確定邊緣服務器對視頻幀的實時分割性能達到設定分割性能。

3.根據權利要求2所述的視頻幀分割方法，其特征在于，所述邊緣服務器的負載包括邊緣服務器的CPU負載和I/O負載。

4.根據權利要求1所述的視頻幀分割方法，其特征在于，所述在邊緣服務器端進行視頻幀的切分和圖分割處理，得到分割處理結果包括：

邊緣服務器對所述視頻幀進行切分，形成多個視頻幀碎片；

對多個所述視頻幀碎片進行并行流處理并進行圖分割處理，得到分割處理結果。

5.根據權利要求4所述的視頻幀分割方法，其特征在于，所述對多個所述視頻幀碎片進行并行圖分割處理，得到分割處理結果包括：

基于超像素的預分割算法對多個所述視頻幀碎片進行分割處理，得到第一分割處理結果；

基于非實時的深度學習DNN分割算法對多個所述視頻幀碎片進行分割處理，得到第二分割處理結果；

利用所述第二分割處理結果對所述第一分割結果進行修正，形成最終的分割處理結果。

6.根據權利要求5所述的視頻幀分割方法，其特征在于，所述將所述分割處理結果反饋至Web端包括：

邊緣服務器將所述最終的分割處理結果以JSON格式返回至Web端，以使得Web端對所述最終的分割處理結果進行渲染著色，以及將所述最終的分割處理結果緩存至前端。

7.根據權利要求6所述的視頻幀分割方法，其特征在于，所述若是，則在邊緣服務器端進行視頻幀的切分和圖分割處理，得到分割處理結果還包括：

若判斷邊緣服務器端對視頻幀的實時分割性能不能達到設定分割性能，則在Web端采用輕量化實時分割算法對所述視頻幀進行分割處理，得到分割處理結果。

8.根據權利要求7所述的視頻幀分割方法，其特征在于，所述在Web端采用輕量化實時分割算法對所述視頻幀進行分割處理，得到分割處理結果包括：

根據緩存至前端的所述最終的分割處理結果，對所述輕量化實時分割算法的參數和標記信息進行設置；

采用參數和標記信息設置后的輕量化實時分割算法對所述視頻幀進行分割處理，得到對應的得到分割處理結果。

9.根據權利要求8所述的視頻幀分割方法，其特征在于，所述采用參數和標記信息設置后的輕量化實時分割算法對所述視頻幀進行分割處理，得到對應的得到分割處理結果之后還包括：

對所述分割處理結果的視頻幀中不同的平面進行著色區分渲染。

10.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至9任一項所述移動Web實時視頻幀分割方法的步驟。