[發明專利]一種視頻超分辨率處理方法、設備及存儲介質

在審

• 申請號: 202011382211.8
• 申請日: 2020-12-01
• 公開（公告）號: CN112700392A
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 蘇德偉;張平健
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/60;G06T3/40;G06N3/08;G06N3/04
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 常柯陽

本發明公開了一種視頻超分辨率處理方法、設備及存儲介質，由視頻處理模型來實現，包括以下步驟：獲取視頻序列，提取視頻序列中參考幀的特征圖和相鄰幀的特征圖；將相鄰幀的特征圖對齊到參考幀上；將對齊后的特征圖進行局部特征融合，獲得局部融合特征圖；將對齊后的特征圖進行全局特征融合，獲得全局融合特征圖；將局部融合特征圖和全局融合特征圖拼接并進行視頻幀重建，獲得高清視頻幀；將獲得的高清視頻幀進行合并，獲得高分辨的視頻序列。本發明通過對齊技術和特征融合技術提升視頻超分辨率方法的性能，將低分辨率視頻有效地重建為高分辨率視頻，通過技術手段提升視覺效果，能夠降低對硬件設備的依賴，可廣泛應用于計算機視覺和深度學習領域。

技術領域

本發明涉及計算機視覺和深度學習領域，尤其涉及一種視頻超分辨率處理方法、設備及存儲介質。

背景技術

作為視頻增強的基本子任務之一，視頻超分辨率旨在將低分辨率視頻映射到相應的高分辨率視頻。視頻超分辨率既可以視為獨立任務，也可以與其他任務結合。此外，這種方法的高可用性使得它在許多情況下都可以使用，包括衛星視頻，高動態范圍視頻和監控視頻等。因此，對視頻超分辨率的研究具有科學和現實意義。

眾所周知，視頻超分辨率問題是一種不適定問題。這種特性意味著一個給定的輸入可能對應于各種結果，如何恢復復雜的輸出仍然很困難。另一方面，盡管單圖像超分辨率近年來取得了突破，但是直接應用于具有時間依賴性的多幀圖像可能會導致時間關系的忽略。通過利用相關的視頻幀，特征可以相互補充以獲得更好的重建結果并同時保持時間一致性。

由于現有方法通常將若干低分辨率視頻幀作為輸入并僅重建最中間的參考幀，需要解決的一個關鍵問題是如何有效地使用相鄰幀中的信息。許多工作證明，將相鄰幀與參考幀對齊是一種可行的選擇，而不是直接將它們串聯在一起。受益于光流估計方法的發展，利用光流進行對齊和運動補償是一種有用的策略。但是，由于運動模糊的存在，很難使用光流獲得準確的預測，并且也可能在最終的超分辨率結果中引入不必要的噪聲。此外，這種策略通常需要很高的計算成本。

另一個不可避免的問題是如何合理地融合特征以獲得更好的結果。一種簡單直接的方法是將所有特征拼接在一起，而讓框架的其余部分自動學習融合策略。但是，堆疊大量信息可能會對網絡的剩余部件造成巨大壓力，從而使模型無法充分有效地利用所有特征。為了克服這些缺點，一些方法試圖將參考幀的前一幀和后一幀的特征進行融合，而另一些方法將任意相鄰幀和參考幀進行特征融合。前者加強了相鄰特征之間的連貫性，而后者則包含了豐富的時間信息以補充參考幀的特征。

發明內容

為至少一定程度上解決現有技術中存在的技術問題之一，本發明的目的在于提供一種視頻超分辨率處理方法、設備及存儲介質。

本發明所采用的技術方案是：

一種視頻超分辨率處理方法，由視頻處理模型來實現，包括以下步驟：

獲取視頻序列，提取所述視頻序列中參考幀的特征圖和相鄰幀的特征圖；

將所述相鄰幀的特征圖對齊到所述參考幀上；

將對齊后的特征圖進行局部特征融合，獲得局部融合特征圖；

采用視頻洗牌的策略將對齊后的特征圖進行全局特征融合，獲得全局融合特征圖；

將所述局部融合特征圖和所述全局融合特征圖拼接并進行視頻幀重建，獲得高清視頻幀；

將獲得的高清視頻幀進行合并，獲得高分辨的視頻序列；

其中，所述視頻序列中最中間的視頻幀為參考幀，其他視頻幀作為相鄰幀。

進一步，所述視頻超分辨率處理方法還包括獲取訓練數據集的步驟，具體為：

獲取高分辨率的視頻，將所述視頻分離為多個高分辨率的視頻幀；