[發明專利]視頻處理方法及裝置

在審

• 申請號: 202111280492.0
• 申請日: 2021-10-29
• 公開（公告）號: CN114005063A
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 磯部駿;陶鑫;戴宇榮
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06N3/04;G06N3/08;G06T3/40
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 王皎彤;曾世驍

本公開關于一種視頻處理方法及裝置。該視頻處理方法包括：獲取待處理視頻的當前幀圖像的特征和當前幀的前一幀圖像的特征；計算所述當前幀圖像的特征和所述前一幀圖像的特征的相關性；基于所述相關性和所述前一幀圖像的隱層特征，確定所述當前幀圖像和所述前一幀圖像的對齊特征；基于所述對齊特征對所述當前幀圖像進行處理。根據本公開的視頻處理方法及裝置，可提高視頻處理效率和效果。

技術領域

本公開涉及視頻技術領域。更具體地，本公開涉及一種視頻處理方法及裝置。

背景技術

視頻作為記錄人類生活的載體，是現代生活中不可缺乏的一部分。隨著科技的進步，人們對視頻的質量要求越來越高，對畫質有著永恒的追求。這里主要包括去模糊，去噪聲和超分辨。受限于拍攝設備和傳輸以及編解碼的限制，很多用戶在下發的視頻中無法獲得高質量的視頻。因此，需要引入外部算法來幫助用戶獲得更高清的視頻。以視頻超分辨為例，以往的算法在采用循環卷積網絡時，會根據光流計算前一幀與當前幀的光流，以此作為指引將上一時刻的隱層特征補償到當前時刻。然而，光流的估計是不準確的，特別是在遮擋和運動較大的場景。另外，光流的估計是非常耗時的，逐像素的光流估計會消耗巨大的計算資源。那么尋找一種光流的替代方案是非常有必要的。

發明內容

本公開的示例性實施例在于提供一種視頻處理方法及裝置，以至少解決相關技術中的視頻處理的問題，也可不解決任何上述問題。

根據本公開的示例性實施例，提供一種視頻處理方法，包括：獲取待處理視頻的當前幀圖像的特征和當前幀的前一幀圖像的特征；計算所述當前幀圖像的特征和所述前一幀圖像的特征的相關性；基于所述相關性和所述前一幀圖像的隱層特征，確定所述當前幀圖像和所述前一幀圖像的對齊特征，其中，所述前一幀圖像的隱層特征包括對所述前一幀圖像進行處理的輸入層和輸出層之間的隱藏層的特征；基于所述對齊特征對所述當前幀圖像進行處理。

可選地，確定所述當前幀圖像和所述前一幀圖像的對齊特征的步驟可包括：基于所述當前幀圖像的特征和所述前一幀圖像的特征的相關性確定所述當前幀圖像和所述前一幀圖像中的相關性最大的位置；基于所述相關性最大的位置對所述前一幀圖像的隱層特征進行對齊操作，得到所述當前幀圖像和所述前一幀圖像的對齊特征。

可選地，基于所述相關性最大的位置對所述前一幀圖像的隱層特征進行對齊操作的步驟可包括：將所述相關性最大的位置作為索引，對所述前一幀圖像的隱層特征進行遷移。

可選地，獲取待處理視頻的當前幀圖像的特征和當前幀的前一幀圖像的特征的步驟可包括：通過相同的特征提取網絡分別對所述當前幀圖像和所述前一幀圖像進行特征提取，得到所述當前幀圖像的特征和所述前一幀圖像的特征。

可選地，計算所述當前幀圖像的特征和所述前一幀圖像的特征的相關性的步驟可包括：計算所述當前幀圖像的特征的范數，將所述當前幀圖像的特征除以所述當前幀圖像的特征的范數，得到第一特征；計算所述前一幀圖像的特征的范數，將所述前一幀圖像的特征除以所述前一幀圖像的特征的范數，得到第二特征；將第一特征和第二特征的內積作為所述當前幀圖像的特征和所述前一幀圖像的特征的相關性。

可選地，基于所述對齊特征對所述當前幀圖像進行處理的步驟可包括：將所述當前幀圖像和所述對齊特征進行拼接，得到拼接特征；將所述拼接特征輸入到預設的卷積神經網絡，得到所述當前幀圖像的處理后的圖像和所述當前幀圖像的隱層特征。

可選地，所述當前幀圖像的處理后的圖像可包括所述當前幀圖像的超分辨處理圖像或所述當前幀圖像的圖像增強處理圖像。