[發明專利]視頻數據實時處理方法及裝置、計算設備

有效

• 申請號: 201711405700.9
• 申請日: 2017-12-22
• 公開（公告）號: CN107993217B
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 董健
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06K9/62;G06N3/04
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

1.一種視頻數據實時處理方法，所述方法對所述視頻數據所包含的幀圖像進行分組處理，其包括：

實時獲取圖像采集設備所拍攝和/或所錄制的視頻中的當前幀圖像；或者，實時獲取當前所播放的視頻中的當前幀圖像；

判斷所述當前幀圖像是否為任一分組的第1幀圖像；

若是，則將所述當前幀圖像輸入至經訓練得到的神經網絡中，經過該神經網絡全部卷積層和反卷積層的運算后，得到處理后的當前幀圖像；

若否，則將所述當前幀圖像輸入至經訓練得到的神經網絡中，在運算至所述神經網絡的第i層卷積層得到第i層卷積層的運算結果后，獲取當前幀圖像所屬分組的第1幀圖像輸入至所述神經網絡中得到的第j層反卷積層的運算結果，直接將所述第i層卷積層的運算結果與所述第j層反卷積層的運算結果進行圖像融合，得到處理后的當前幀圖像；其中，i和j為自然數，第i層卷積層的運算結果與第j層反卷積層的運算結果的輸出維度相同；

輸出處理后的當前幀圖像；

重復執行上述步驟直至完成對視頻數據中所有幀圖像的處理。

2.根據權利要求1所述的方法，其中，在判斷出所述當前幀圖像不是任一分組的第1幀圖像之后，所述方法還包括：

計算所述當前幀圖像與其所屬分組的第1幀圖像的幀間距；

根據所述幀間距，確定i和j的取值；其中，所述第i層卷積層與最后一層卷積層之間的層距與所述幀間距成反比關系，所述第j層反卷積層與輸出層之間的層距與所述幀間距成正比關系。

3.根據權利要求2所述的方法，其中，所述方法還包括：預先設置幀間距與所述i和j的取值的對應關系。

4.根據權利要求3所述的方法，其中，在所述直接將所述第i層卷積層的運算結果與所述第j層反卷積層的運算結果進行圖像融合之后，所述方法還包括：

若所述第j層反卷積層是所述神經網絡的最后一層反卷積層，則將圖像融合結果輸入到輸出層，以得到處理后的當前幀圖像；

若所述第j層反卷積層不是所述神經網絡的最后一層反卷積層，則將圖像融合結果輸入到第j+1層反卷積層，經過后續反卷積層和輸出層的運算，以得到處理后的當前幀圖像。

5.根據權利要求4所述的方法，其中，所述將當前幀圖像輸入至經訓練得到的神經網絡中，經過該神經網絡全部卷積層和反卷積層的運算后，得到處理后的當前幀圖像進一步包括：在經過該神經網絡的最后一層卷積層之前的每一層卷積層運算后，對每一層卷積層的運算結果進行下采樣處理。

6.根據權利要求4所述的方法，其中，在運算至所述神經網絡的第i層卷積層得到第i層卷積層的運算結果之前，所述方法還包括：在經過該神經網絡的第i層卷積層之前的每一層卷積層運算后，對每一層卷積層的運算結果進行下采樣處理。

7.根據權利要求6所述的方法，其中，所述視頻數據每組包含n幀幀圖像；其中，n為固定預設值。

8.根據權利要求7所述的方法，其中，所述方法還包括：

將處理后的視頻數據實時顯示。

9.根據權利要求1-8中任一項所述的方法，其中，所述方法還包括：

將處理后的視頻數據上傳至云服務器。

10.根據權利要求9所述的方法，其中，所述將處理后的視頻數據上傳至云服務器進一步包括：

將處理后的視頻數據上傳至云視頻平臺服務器，以供云視頻平臺服務器在云視頻平臺進行展示視頻數據。

11.根據權利要求9所述的方法，其中，所述將處理后的視頻數據上傳至云服務器進一步包括：

將處理后的視頻數據上傳至云直播服務器，以供云直播服務器將視頻數據實時推送給觀看用戶客戶端。