[發明專利]一種基于可變形特征對齊循環架構的視頻超分辨方法

在審

• 申請號: 202310054517.8
• 申請日: 2023-02-03
• 公開（公告）號: CN116309045A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 劉恒;黃相丞;郭向林
• 申請（專利權）人: 安徽工業大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06V10/24
• 代理公司: 安徽順超知識產權代理事務所(特殊普通合伙) 34120
• 代理人: 陳波

本發明屬于圖像處理技術領域，具體涉及一種基于可變形特征對齊循環架構的視頻超分辨方法，該方法包括以下步驟：獲取視頻超分辨的公開數據集，并對數據集中的視頻序列進行預處理；構建一個基于可變形特征對齊的循環架構的視頻超分辨模型；基于構建的可變形特征對齊的循環架構網絡和制作的訓練集對網絡模型進行訓練；根據學習得到的模型參數，將5幀低分辨率的視頻序列作為網絡的輸入，得到相應的超分辨率序列作為輸出。本發明提供的視頻超分辨方法基于可變形特征對齊循環架構的視頻超分辨網絡模型實現，該網絡模型生成了超分結果不錯的視頻序列，在高清視頻播放和視頻監督等領域中有著廣泛的應用前景。

技術領域

本發明屬于圖像處理技術領域，具體涉及一種基于可變形特征對齊循環架構的視頻超分辨方法。

背景技術

視頻超分辨是指從模糊的、低分辨率視頻中恢復出細節清晰、時間連續的高分辨率圖像幀序列。視頻超分辨在超高清視頻生成、弱小目標視頻監控及機器人精準醫療等方面發揮著重要的作用。由于連續圖像幀之間具有高度的相關性，因此，解決不同幀時空特征的有效聚合是視頻超分辨的一個主要難題。近年來，雖然已經出現了很多基于深度神經網絡來實現視頻超分辨的工作，但這些工作并沒有充分解決視頻超分辨的上述難題點問題。

當前，視頻超分辨的主要框架可以劃分為兩種：基于滑動窗口的框架和基于遞歸結構的框架。滑動窗口方法是指按照某個特定的幀長(一般是奇數)去依次處理整個視頻序列。在處理的過程中，在該方法中會將所有的輸入幀顯示或者隱式的對齊到中間幀上，然后進行信息的融合和重建，并輸出中間幀的超分結果。這種方法的優勢是能夠比較充分的利用所有的輸入幀的信息，并將其增強到中間幀上，實現局部最好的效果。但是由于可以利用的視頻幀的數量有限，如果在中間幀附近發生遮擋等特殊情況，由于不能借鑒到有用信息，則會導致生成的效果較差。

與上述方法不同的是，基于遞歸的方法一般一次輸入的圖像比較多，并且能夠一次生成所有輸入幀對應的超分圖像。在這個過程中，模型會遞歸的處理每一幀圖像，并將本次的輸出應用到下一次的迭代過程中。為了使局部信息能夠整個時間序列上進行傳遞，后續的工作中又提出了雙向遞歸的架構——即從時間維度上首先從后向前的進行一次處理，再從前向后進行處理。該方法可以實現在輸入數量較多具有更好的性能。但是由于在每次的迭代過程中只利用了來自單方向的上一幀的輸出結果，導致在輸入幀數較少時效果反而不如基于滑動窗口的方法。

在兩種框架下，具體到實現幀對齊的方法，當前主流的方法可分為光流對齊和可變形卷積對齊兩種。已有的研究表明，可變形卷積對齊比光流對齊具有更好的效果，但是TDAN中提出的可變形卷積模塊過于簡單，并不能有效實現對齊，而EDVR中提出的金字塔型的可變形對齊網絡模塊結構復雜，并不適合于循環神經網絡。

經檢索，公開號為CN115330592A的專利文獻公開了一種基于光流增強算法的視頻超分辨率方法，其網絡模塊包括OFRNet、MCNet、SRNet、光流增強模塊，該網絡首先使用中央LR幀和相鄰的幀作為網絡的輸入，生成相應的HR光流并使用光流增強模塊來增強HR光流，之后通過空間深變換將增強的HR光流轉化為LR網格，生成LR流立方體(Flow?cube)。該基于光流增強算法的視頻超分辨率方法，解決了LR光流問題和偽影問題，可以增強邊界信息，有助于恢復圖像的精細細節的問題。但該方法需要通過LR幀去估計HR光流，本身就存在著很大的難度與挑戰，同時，其一次處理只能得出一個結果，且無法利用較長距離的其他視頻幀信息，存在著一定的局限性。

基于以上分析，現有技術需要一種能夠有效聚合不同幀時空特征，實現具有很好的超分結果的方法。

發明內容

為了克服上述現有技術存在的無法有效聚合不同幀時空特征的問題，本發明提出了一種基于可變形特征對齊循環架構的視頻超分辨方法，能夠更好的對齊相鄰幀特征，同時通過遞歸處理和去模糊操作以及在頻率域做損失從而達到更好的超分效果。

為達到上述目的，本發明提供的技術方案為：

一種基于可變形特征對齊循環架構的視頻超分辨方法，包括如下步驟：