[發明專利]基于深度學習的多幀自適應融合的視頻超分辨方法

在審

• 申請號: 201910967482.0
• 申請日: 2019-10-12
• 公開（公告）號: CN110852944A
• 公開（公告）日: 2020-02-28
• 發明（設計）人: 曾明;馬金玉;吳雨璇;李祺;王湘暉
• 申請（專利權）人: 天津大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/246;G06T7/33
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

本發明提供一種基于深度學習的多幀自適應融合的視頻超分辨方法及其電子設備，包括下列步驟：第一步，構建訓練本發明的網絡所需的數據集；第二步，通過深度學習框架TensorFlow搭建多幀自適應融合的視頻超分辨網絡，多幀自適應融合的視頻超分辨網絡被劃分為兩個部分：多幀自適應配準網絡和超分辨網絡，其中多幀自適應配準網絡能夠將需要超分辨的關鍵幀的相鄰幀進行扭曲，使其和關鍵幀的內容趨于相同，以提供給算法更多的細節信息，而超分辨網絡則將多幀自適應配準網絡的輸出超分辨為高分辨率幀圖像；訓練。

技術領域

本發明涉及一種基于卷積神經網絡的視頻超分辨算法，涉及一種多幀自適應融合的視頻圖像配準算法。

背景技術

高分辨率的視頻會給用戶帶來更清晰、更舒適的視覺體驗，因此與之相關的技術研究也受到學者們的廣泛重視。近些年發展迅猛的視頻超分辨技術作為一種低成本獲得高清圖像的新技術，在安防、金融、現代物流等多個行業蘊含巨大的商業價值，成為了很多大公司競相角逐的前沿科技。超分辨技術的基本任務是從原始的低分辨率(low-resolution，簡稱LR)圖像或視頻重構出對應的高分辨率(high-resolution，簡稱HR)圖像或視頻，這是一個典型的病態問題。目前，已有學者們提出了一些解決方案。

現有的超分辨算法主要通過以下兩種途徑實現：1)利用圖片中結構或內容的先驗知識對重構的過程添加約束來實現，例如利用圖像的平滑性實現超分辨率效果；2)以數據驅動模式學習低分辨率圖像到高分辨圖像之間的映射，該方法也是目前重構效果最佳算法的實現模式。具體實現方式有字典學習策略，隨機森林策略和神經網絡策略。單幀超分辨技術是指輸入為一張圖像的超分辨技術。而多幀超分辨則是指通過多個連續低分辨的視頻幀重構出一張高分辨視頻幀的技術。相比于單幀超分辨技術，多幀超分辨算法認為幀影像之間的信息是互補的，算法可以利用這些冗余的信息來提高超分辨的效果。

多幀超分辨率算法設計的核心問題是找到有效的方法實現連續視頻幀之間的配準。最新研究表明，將卷積神經網絡(CNN)與運動補償原理相結合，能夠融合多個相鄰低分辨率幀的信息，進而實現圖像配準。目前主流的多幀超分辨率算法通常是利用一組固定幀數的連續低分辨率圖像生成一個單幀的高分辨圖像。然而，這種基于固定幀數的多幀超分辨率算法存在以下兩方面問題：1)當相鄰幀之間的圖像內容差別非常大時，如果選取的幀數過大，這給圖像配準帶來了極大的困難，且融合后的視頻極易出現不良的閃爍現象而影響用戶的體驗；2)當幀數選取過小，又不能充分利用相鄰幀的冗余信息。如何自適應融合的不同幀數預測的圖像信息就顯得十分重要。

發明內容

針對傳統固定幀數融合的多幀超分辨率算法在多幀圖像有效利用方面存在的不足，本發明提出了一種自適應融合不同幀數預測圖像的多幀超分辨率算法。由于該算法能較好的適配相鄰幀之間圖像內容差異大小的波動，因此可獲得更穩定、清晰的超分辨率效果。技術方案如下：

一種基于深度學習的多幀自適應融合的視頻超分辨方法，包括下列步驟：

第一步，構建訓練本發明的網絡所需的數據集

將已有視頻數據集中的視頻逐幀讀取成圖像并保存，記作高分辨率圖像集Y_HR，然后將高分辨率圖像集Y_HR中的每一張圖像做下采樣得到對應的低分辨率圖像集Y_LR。

第二步，通過深度學習框架TensorFlow搭建多幀自適應融合的視頻超分辨網絡

多幀自適應融合的視頻超分辨網絡被劃分為兩個部分：多幀自適應配準網絡和超分辨網絡，其中多幀自適應配準網絡能夠將需要超分辨的關鍵幀的相鄰幀進行扭曲，使其和關鍵幀的內容趨于相同，以提供給算法更多的細節信息，而超分辨網絡則將多幀自適應配準網絡的輸出超分辨為高分辨率幀圖像，包括步驟如下：