[發明專利]一種視頻圖像超分辨率重建方法及設備

在審

• 申請號: 201910270166.8
• 申請日: 2019-04-04
• 公開（公告）號: CN111784570A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 葉顯一;李磊
• 申請（專利權）人: TCL集團股份有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 張全文

本發明適用于圖像處理技術領域，提供了一種視頻圖像超分辨率重建方法及設備，包括：獲取待處理的目標視頻；所述目標視頻由多個連續的低分辨率的視頻幀組成；將所述目標視頻輸入到視頻超分辨率重建模型進行處理，獲取所述目標視頻中每個低分辨率視頻幀對應的高分辨率視頻幀；將所有所述目標幀的超分辨率視頻幀合成獲取所述目標視頻的高分辨率視頻。上述方法中，通過動態上采樣濾波器來隱式地學習幀間運動信息，只通過訓練好的視頻超分辨率重建模型，即可獲取最終的重建結果，在實際使用過程中，無需進行網絡的訓練，也沒有光流估計的過程，提升了視頻超分辨率重建的效果。

技術領域

本發明屬于圖像處理技術領域，尤其涉及一種視頻圖像超分辨率重建方法及設備。

背景技術

近年來，超分辨率重建一直是研究的熱點問題，它能夠為圖像提供額外的顯示分辨率和高分辨率的細節紋理，而由于視頻擁有更多的圖像信息和圖像的時間序列信息，所以視頻超分辨率重建實現起來更加的復雜。現有的視頻超分辨率重建方法為：將連續的多個視頻幀作為網絡的輸入，先進行運動估計來學習幀間的運動信息，然后對處理幀和運動信息進行超分辨率重建，得到最終的重建結果。

但是，這中方法常需要分開訓練兩個網絡，即運動估計網絡和殘差學習網絡，在這個過程中，由于光流估計會出現不準確的情況，會導致視頻超分辨率重建的效果差。

發明內容

有鑒于此，本發明實施例提供了一種視頻圖像超分辨率重建方法及終端設備，以解決現有技術中由于光流估計會出現不準確的情況，導致視頻超分辨率重建的效果差的問題。

本發明實施例的第一方面提供了一種視頻圖像超分辨率重建方法，包括：

獲取待處理的目標視頻；所述目標視頻由多個連續的第一分辨率的視頻幀組成；

將所述目標視頻輸入到預先訓練好的視頻超分辨率重建模型進行處理，獲取所述目標視頻中每個第一分辨率視頻幀對應的第二分辨率視頻幀；其中，所述第一分辨率小于所述第二分辨率；

將所有所述目標幀的第二分辨率視頻幀合成獲取所述目標視頻的第二分辨率視頻。

本發明實施例的第二方面提供了一種視頻圖像超分辨率重建設備，包括：

第一獲取單元，用于獲取待處理的目標視頻；所述目標視頻由多個連續的第一分辨率的視頻幀組成；

第一處理單元，用于將所述目標視頻輸入到預先訓練好的視頻超分辨率重建模型進行處理，獲取所述目標視頻中每個第一分辨率視頻幀對應的第二分辨率視頻幀；其中，所述第一分辨率小于所述第二分辨率；

合成單元，用于將所有所述目標幀的第二分辨率視頻幀合成獲取所述目標視頻的第二分辨率視頻。

本發明實施例的第三方面提供了一種視頻圖像超分辨率重建設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現如上述第一方面所述的視頻圖像超分辨率重建方法的步驟。

本發明實施例的第四方面提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現如上述第一方面所述的視頻圖像超分辨率重建方法的步驟。

本發明實施例中，獲取待處理的目標視頻；所述目標視頻由多個連續的第一分辨率的視頻幀組成；將所述目標視頻輸入到預先訓練好的視頻超分辨率重建模型進行處理，獲取所述目標視頻中每個第一分辨率視頻幀對應的第二分辨率視頻幀；其中，所述第一分辨率小于所述第二分辨率；將所有所述目標幀的第二分辨率視頻幀合成獲取所述目標視頻的第二分辨率視頻。上述方法中，通過動態上采樣濾波器來隱式地學習幀間運動信息，只通過訓練好的視頻超分辨率重建模型，即可獲取最終的重建結果，在實際使用過程中，無需進行網絡的訓練，也沒有光流估計的過程，提升了視頻超分辨率重建的效果。

附圖說明