[發明專利]基于深度網絡的視頻復原模型訓練方法及視頻復原方法

有效

• 申請號: 201910136584.8
• 申請日: 2019-02-25
• 公開（公告）號: CN109949234B
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 桑農;武理友;李樂仁瀚;李亞成;高常鑫
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 曹葆青;李智

1.一種基于深度網絡的視頻復原模型訓練方法，其特征在于，包括：

(1)從標準的清晰視頻中獲得多幀清晰圖像；

(2)對各幀清晰圖像進行高斯模糊處理，以得到各幀清晰圖像所對應的模糊圖像；

(3)將連續n幀清晰圖像及對應的n幀模糊圖像構成的{清晰圖像序列，模糊圖像序列}對作為一個訓練樣本，從而得到由所有訓練樣本構成的訓練集；

(4)建立由n-1個編解碼網絡依次連接而成的視頻復原模型，用于根據模糊圖像I_n及其前n-1幀模糊圖像I_n-1～I₁對所述模糊圖像I_n進行圖像復原；

在所述視頻復原模型中，從輸入至輸出的方向，各編解碼網絡依次以模糊圖像I_n-1～I₁為一個輸入，第一個編解碼網絡以所述模糊圖像I_n為另一個輸入，第2～n-1個編解碼網絡分別以前一個編解碼網絡的輸出為另一個輸入；

(5)利用所述訓練集對所述視頻復原模型進行訓練，從而得到目標視頻復原模型；

其中，n≥2。

2.如權利要求1所述的基于深度網絡的視頻復原模型訓練方法，其特征在于，所述步驟(1)包括：

從標準的清晰視頻中獲得多幀標準圖像，并對各幀標準圖像進行裁剪，以得到多幀清晰圖像；

所述清晰圖像的大小使得在對所述視頻復原模型進行訓練時，系統顯存能夠存儲一個訓練批次的訓練樣本。

3.如權利要求1所述的基于深度網絡的視頻復原模型訓練方法，其特征在于，所述步驟(2)包括：

針對每一幀清晰圖像建立高斯模糊核；

將各幀清晰圖像與對應的高斯模糊核進行卷積操作后，加上相同的高斯隨機噪聲，從而得到各幀清晰圖像對應的模糊圖像。

4.如權利要求3所述的基于深度網絡的視頻復原模型訓練方法，其特征在于，所述步驟(5)中，訓練所述視頻復原模型時，所采用的損失函數為：

其中，m表示訓練樣本編號，表示利用第m個訓練樣本訓練時所述視頻復原模型的輸出結果，表示第m個訓練樣本中的第n幀清晰圖像，表示第m個訓練樣本中的第n幀模糊圖像，k_m表示第m個訓練樣本中第n幀清晰圖像所對應的高斯模糊核，N_m表示第m個訓練樣本的像素總數，表示卷積操作，|| ||₂表示求2-范數。

5.如權利要求1所述的基于深度網絡的視頻復原模型訓練方法，其特征在于，所述編解碼網絡為包含跳躍連接和殘差連接的編解碼網絡。

6.一種視頻復原方法，用于對高斯模糊視頻進行復原操作，其特征在于，包括：

依次以待復原視頻的第1～F-n+1幀為起始幀，將各起始幀及其后連續的n-1幀作為一個視頻序列，從而得到共F-n+1個視頻序列；

依次以各視頻序列為輸入，利用權利要求1-5任一項所述的基于深度網絡的視頻復原模型訓練方法得到的目標視頻復原模型對所述待復原視頻的第n～F幀圖像進行復原，由此完成對所述待復原視頻的復原；

其中，F表示所述待復原視頻所包含的總幀數，n≥2。