[發明專利]一種視頻圖像超分辨率重建方法及設備

在審

• 申請號: 201910270166.8
• 申請日: 2019-04-04
• 公開（公告）號: CN111784570A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 葉顯一;李磊
• 申請（專利權）人: TCL集團股份有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 張全文

1.一種視頻圖像超分辨率重建方法，其特征在于，包括：

獲取待處理的目標視頻；所述目標視頻由多個連續的第一分辨率的視頻幀組成；

將所述目標視頻輸入到預先訓練好的視頻超分辨率重建模型進行處理，獲取所述目標視頻中每個第一分辨率視頻幀對應的第二分辨率視頻幀；其中，所述第一分辨率小于所述第二分辨率；

將所有所述目標幀的第二分辨率視頻幀合成獲取所述目標視頻的第二分辨率視頻。

2.如權利要求1所述的視頻圖像超分辨率重建方法，其特征在于，所述將所述目標視頻輸入到預先訓練好的視頻超分辨率重建模型進行處理，獲取所述目標視頻中每個第一分辨率視頻幀對應的第二分辨率視頻幀，包括：

對所述目標視頻的視頻幀進行分組，獲取所述目標視頻的視頻幀組；

將所述目標視頻的視頻幀組輸入到視頻超分辨率重建模型進行處理，獲取所述目標視頻中所述視頻幀對應的第二分辨率視頻幀。

3.如權利要求1-2任一項所述的視頻圖像超分辨率重建方法，其特征在于，在所述將所述目標視頻輸入到預先訓練好的視頻超分辨率重建模型進行處理，獲取所述目標視頻中每個第一分辨率視頻幀對應的第二分辨率視頻幀之前，還包括：

獲取視頻訓練數據，基于所述視頻訓練數據獲取視頻幀訓練集；其中，所述視頻幀訓練集包括第一分辨率的樣本視頻幀組；

將所述樣本視頻幀組中的目標幀輸入預設的超分辨率模型進行處理，得到所述樣本視頻幀組中目標幀的目標超分辨率視頻幀；所述超分辨率模型的輸入為樣本視頻幀組中的目標幀，所述超分辨率模型的輸出為所述樣本視頻幀組中目標幀的目標超分辨率視頻幀；

基于所述樣本視頻幀組的預設真值圖和所述目標超分辨率視頻幀進行訓練，得到用于輸出第二分辨率視頻幀的視頻幀超分辨率重建模型；所述視頻幀超分辨率重建模型用于對所述待處理的目標視頻進行處理得到第二分辨率視頻。

4.如權利要求3所述的視頻圖像超分辨率重建方法，其特征在于，所述獲取視頻訓練數據，基于所述視頻訓練數據獲取視頻幀訓練集，包括：

從視頻訓練數據中獲取初始視頻幀；

當多個相鄰的初始視頻幀中每個初始視頻幀都滿足預設條件時，將滿足預設條件的所述多個相鄰的初始視頻幀標記為一組初始視頻幀組；將所述多個相鄰的初始視頻幀組進行降采樣處理，得到視頻幀訓練集。

5.如權利要求3所述的視頻圖像超分辨率重建方法，其特征在于，所述將所述樣本視頻幀組中的目標幀輸入預設的超分辨率模型進行處理，得到所述樣本視頻幀組中目標幀的目標超分辨率視頻幀，包括：

將所述樣本視頻幀組輸入預設的深度稠密網絡進行處理，得到樣本視頻幀組信息；

將所述樣本視頻幀組信息輸入預設的動態上采樣濾波器學習網絡進行處理，得到所述樣本視頻幀組中目標幀的運動估計信息；

將所述樣本視頻幀組信息輸入預設的殘差學習網絡進行處理，得到所述樣本視頻幀組中目標幀的殘差信息；

將所述樣本視頻幀組中的目標幀、所述目標幀的運動估計信息以及所述目標幀的殘差信息輸入預設的超分辨率模型，基于所述目標幀的運動估計信息對所述樣本視頻幀組中的目標幀進行上采樣，得到經過上采樣的目標幀；

基于所述目標幀的殘差信息對所述經過上采樣的目標幀進行處理，得到所述樣本視頻幀組中目標幀的目標超分辨率視頻幀。

6.一種視頻圖像超分辨率重建設備，其特征在于，包括：

第一獲取單元，用于獲取待處理的目標視頻；所述目標視頻由多個連續的第一分辨率的視頻幀組成；

第一處理單元，用于將所述目標視頻輸入到預先訓練好的視頻超分辨率重建模型進行處理，獲取所述目標視頻中每個第一分辨率視頻幀對應的第二分辨率視頻幀；其中，所述第一分辨率小于所述第二分辨率；

合成單元，用于將所有所述目標幀的第二分辨率視頻幀合成獲取所述目標視頻的第二分辨率視頻。