[發明專利]基于對抗生成網絡和邊緣增強的視頻超分辨率方法及系統

在審

• 申請號: 202110340664.2
• 申請日: 2021-03-30
• 公開（公告）號: CN113077385A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 滕國偉;王嘉璐
• 申請（專利權）人: 上海大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

1.一種基于對抗生成網絡和邊緣增強的視頻超分辨率方法，其特征在于，包括如下步驟：

步驟S1：基于對抗生成網絡自主建立數據集，獲取高分辨率連續幀與相應的低分辨率連續幀；

步驟S2：將高分辨率連續幀與相應的低分辨率連續幀的RGB色彩空間轉化到HSV色彩空間；

步驟S3：建立生成網絡得到超分辨率連續幀；

步驟S4：對超分辨率連續幀進行真偽辨別；

步驟S5：如果辨別結果為真，則輸出超分辨率連續幀；如果辨別結果為假，則重新生成超分辨連續幀進行真偽辨別。

2.根據權利要求1所述的基于對抗生成網絡和邊緣增強的視頻超分辨率方法，其特征在于，所述步驟S1包括如下子步驟：

步驟S11：讀入舊影視的原始視頻和對應的高清修復版本；

步驟S12：將原始視頻和高清修復版本視頻轉化為連續的幀序列；

步驟S13：將高分辨率連續幀和低分辨率連續幀進行旋轉和剪裁。

3.根據權利要求2所述的基于對抗生成網絡和邊緣增強的視頻超分辨率方法，其特征在于，所述步驟S12包括如下子步驟：

步驟S121：將原始視頻和對應高清修復版本的時間軸對齊；

步驟S122：選取原始視頻開始時間t1至結束時間t2的一段時間內的低分辨率視頻video^LR，轉為連續幀；

步驟S123：選取高清修復版本相同開始時間t1至相同結束時間t2的一段時間內的高分辨率視頻video^HR，轉為連續幀。

4.根據權利要求3所述的基于對抗生成網絡和邊緣增強的視頻超分辨率方法，其特征在于，所述步驟S12中低分辨率視頻video^LR和高分辨率視頻video^HR內不存在場景切換。

5.根據權利要求2所述的基于對抗生成網絡和邊緣增強的視頻超分辨率方法，其特征在于，所述步驟S13中對應高分辨率連續幀和低分辨率連續幀采用的旋轉和剪裁參數必須一致。

6.根據權利要求1所述的基于對抗生成網絡和邊緣增強的視頻超分辨率方法，其特征在于，所述步驟S3包括如下子步驟：

步驟S31：光流網得到運動補償運動補償線性上采樣四倍得到上采樣后的運動補償V_t，將上采樣后的運動補償V_t與前一幀的超分辨率結果進行非線性圖像變形操作得到形變后的幀

步驟S32：利用超分辨率重構網絡得到超分辨率中間結果；

步驟S33：對超分辨率中間結果利用拉普拉斯邊緣增強網絡。

7.根據權利要求5所述的基于對抗生成網絡和邊緣增強的視頻超分辨率方法，其特征在于，所述步驟S32包括如下子步驟：

步驟S321：運動補償線性上采樣四倍得到V_t；

步驟S322：將V_t與前一幀的超分辨率重建結果進行非線性圖像變形操作得到形變后的幀它的形狀是(batchsize,4*w,4*h,channel)；

步驟S323：將進行通道重組后得到尺寸下采樣后的幀此時的形狀是(batchsize,w,h,4*4*channel)；

步驟S324：將與在第三通道上進行合并，此時形狀為(batchsize,w,h,4*4*channel+channel)；

步驟S325：得到超分辨率的中間結果其中表示低分辨率幀與高分辨率幀的殘差的超分辨率結果，表示低分辨率幀，Bicubic()表示雙三次采樣。

8.根據權利要求6所述的基于對抗生成網絡和邊緣增強的視頻超分辨率方法，其特征在于，所述步驟S33包括如下子步驟：

步驟S331：對超分辨率中間結果利用拉普拉斯算子L與進行卷積得到像素值突變的圖像其中L為拉普拉斯掩膜，為卷積操作，為中間超分辨率結果。

步驟S332：將中間超分辨率結果用拉普拉斯算子提取的邊緣與中間超分辨率結果疊加而產生銳化圖像

步驟S333：后處理的去噪工作，得到超分辨率最終結果