[發明專利]基于對抗生成網絡和邊緣增強的視頻超分辨率方法及系統

在審

• 申請號: 202110340664.2
• 申請日: 2021-03-30
• 公開（公告）號: CN113077385A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 滕國偉;王嘉璐
• 申請（專利權）人: 上海大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

本發明提供了一種基于對抗生成網絡和邊緣增強的視頻超分辨率方法，包括如下：步驟S1：基于對抗生成網絡自主建立數據集，獲取高分辨率連續幀與相應的低分辨率連續幀；步驟S2：將高分辨率連續幀與相應的低分辨率連續幀的RGB色彩空間轉化到HSV色彩空間；步驟S3：建立生成網絡得到超分辨率連續幀；步驟S4：對超分辨率連續幀進行真偽辨別；步驟S5：如果辨別結果為真，則輸出超分辨率連續幀；如果辨別結果為假，則重新生成超分辨連續幀進行真偽辨別。本發明直接采用舊影視的原始連續幀作為網絡的輸入，對應的高清修復版本連續幀作為網絡的目標。這樣既舍去了中間的退化過程，又貼合自然圖像的實際情況。

技術領域

本發明涉及視頻圖像處理技術領域，具體地，涉及一種基于對抗生成網絡和邊緣增強的視頻超分辨率方法及系統。

背景技術

超分辨率旨在從低分辨率(LR)版本重建高分辨率(HR)圖像或視頻，這是計算機視覺中的經典問題。它不僅追求物理尺寸的擴大，而且還可以恢復高頻細節以確保清晰度。古典算法已經存在了數十年，可以分為以下幾類：基于補丁、邊緣、稀疏編碼，預測和統計的方法。這些方法的計算成本比深度學習方法低，但是其恢復性能也非常有限。隨著深度學習的普及，卷積神經網絡已得到廣泛應用，并導致超分辨率的飛躍。

該領域可以分為兩部分，單圖像超分辨率(SISR)和視頻超分辨率(VSR)。前者利用單個幀中的空間相關性，而后者另外使用幀間時間相關性。對于2000年前后的電影和電視作品的分辨率都很低，因為受制于以前的拍攝條件和放映設備。盡管圖像質量的顯示不能令人滿意，但是出現了大量的優秀影視作品。那么直接將以前的拍攝片段直接復制到現有設備中時已不能滿足當今人們的感知需求。因此，舊影視超分辨率的確有其一定的市場需求。不過由于時間相關性對于視頻超分辨率至關重要，因此常常組合來自相鄰低分辨率幀的信息。然而，一些視頻重建結果仍然不能令人滿意。

經過檢索，專利文獻CN105931189B公開了一種基于改進超分辨率參數化模型的視頻超分辨率方法及裝置，以改進超分辨率參數化模型作為視頻超分辨率方法的理論指導，利用公共標記矩陣將遮擋、邊界溢出對應的非公共區域所引入的錯誤參考信息加以排除，使得參數化模型能更好地描述各類實際視頻；結合多未知參數參數聯合估計的方法，保證了視頻超分辨率的穩定進行。雖然該現有技術解決了視頻間非公共內容的缺陷，但是是通過改進參數，并未結合幀間的空間相關性和時間相關性，無法解決邊緣增強的技術問題。

專利文獻CN111260560B公開了一種融合注意力機制的多幀視頻超分辨率方法，包括采集視頻數據并采用視頻增強技術對視頻數據進行訓練以生成訓練集及測試集；連接變形卷積特征對齊模塊及特征重建模塊以構成多幀超分辨率網絡，采用訓練集對多幀超分辨率網絡進行訓練；將3D卷積特征對齊模塊加入多幀超分辨率網絡進行訓練；將特征融合模塊加入多幀超分辨率網絡進行訓練；采用訓練集對多幀超分辨率網絡進行訓練；采用訓練集對多幀超分辨率網絡進行微調以生成多幀超分辨率模型；采用測試集對多幀超分辨率模型進行測試。該現有技術主要通過對大數據的分析來提高超分辨率，側重在注意力機制，并未結合幀間的空間相關性和時間相關性，無法解決邊緣增強的技術問題。

目前，現有技術對視頻重建結果存在兩個大問題。第一，超分辨率的數據集都是由高分辨率數據HR下采樣得到低分辨率數據LR，然后構成LR和HR對。但是這種采樣過程理想化了自然圖像退化的過程，與實際不符。第二，現有技術中采用GAN網絡的超分辨率結果在主觀感受上有比較大的進展，但是在視頻上應用不多。

因此，亟需研發涉及一種結合幀間的空間相關性和時間相關性，利用GAN網絡的超分辨率結果提升舊影視的視頻應用成果。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種基于對抗生成網絡和邊緣增強的視頻超分辨率方法及系統，本發明采用GAN網絡為主體框架，增加感知損失與光流損失，然后在超分辨率網絡之后融入邊緣增強的網絡層，可以進一步改善最后結果。

根據本發明提供的一種基于對抗生成網絡和邊緣增強的視頻超分辨率方法，包括如下步驟：