[發明專利]一種利用卷積神經網絡提高視頻分辨率的方法

在審

• 申請號: 201810293104.4
• 申請日: 2018-04-04
• 公開（公告）號: CN108805808A
• 公開（公告）日: 2018-11-13
• 發明（設計）人: 吳含前;李程超;姚莉;李露
• 申請（專利權）人: 東南大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了一種利用卷積神經網絡提高視頻分辨率的方法，該方法針對視頻圖像序列構建了基于卷積神經網絡的視頻超分辨率重建模型，在模型構建過程中基于視頻圖像序列的特點設置了卷積神經網絡的超參數，包括卷積核尺寸、神經網絡層數等；然后利用單圖像的超分辨率方法產生的圖像訓練權重用來初始化視頻模型的權重參數，并充分利用視頻幀間的冗余信息，以多幀視頻圖像作為卷積神經網絡模型的輸入，通過增量式的迭代方法，最終得到高分辨率的視頻。本發明提出的視頻超分辨率模型訓練速度快且預測精度高，對比試驗驗證結果表明，相對于其他超分辨率算法，利用本發明的方法重建出的圖像的峰值信噪比和結構相似性具有綜合最優結果。

技術領域

本發明涉及視頻處理方法，具體涉及一種利用卷積神經網絡提高視頻分辨率的方法。

背景技術

為了得到高分辨率的圖像序列或者是視頻，通過視頻超分辨率(Video SuperResolution，VSR)技術，將原始的低分辨率視頻進行進一步的后期放大處理，有利于提高視頻資源的利用率，可將其應用到視頻監控、衛星圖像、醫學圖像處理等各個領域。超分辨率技術的應用條件簡單，只要能夠獲得同一場景的不同低分辨率(Low Resolution，LR)圖像即可。它在不增加硬件成本的條件下，通過已有的成像設備，利用算法來提高圖像的分辨率，突破成像設備所得到圖像空間分辨率的極限，然后得到具有較高分辨率(HighResolution，HR)的圖像或者視頻序列，非常經濟而且方便。

視頻超分辨率是超分辨率技術的進一步應用，是針對單張圖像超分辨率的進一步改進，因為在視頻序列中，有更多的冗余信息可以利用。當前已有利用卷積神經網絡(Convolutional Neural Networs,CNN)進行超分辨率方法的研究，Chao Dong等在“Learning a Deep Convolutional Network for Image Super-Resolution”(inProceedings of European Conference on Computer Vision(ECCV),2014)中使用深度卷積神經網絡在LR圖像和HR圖像之間構建了一個端到端的映射關系，第一次驗證了卷積神經網絡應用在圖像超分辨領域的可行性，但該算法計算量復雜，且容易產生過擬合，不適合直接對多幀的視頻進行處理。Armin Kappeler等在“Video Super-Resolution WithConvolutional Neural Networks”(《IEEE Transactions on Computational Imaging》,2016,2(2):109-122)中基于卷積神經網絡，首先使用單幀圖像的預訓練參數，經過多層隱層將其轉化為視頻序列圖像模型的參數，但他沒有充分利用視頻幀間的冗余信息，生成的高分辨率視頻效果并不理想。

發明內容

發明目的：基于現有技術的不足，本發明提出一種利用深度卷積神經網絡來提高視頻分辨率的方法，通過深度卷積神經網絡構建一個針對視頻序列的超分辨率模型，使其計算復雜度有效降低，并能取得更好的重建質量。

技術方案：一種利用卷積神經網絡提高視頻分辨率的方法，包括訓練階段和重構階段，在訓練階段，以多幀下采樣視頻圖像作為卷積神經網絡模型的輸入，以單圖像的超分辨率方法所產生的訓練權重來初始化該卷積神經網絡模型的權重參數，得到訓練好的卷積神經網絡模型；在重構階段，將待處理的視頻圖像輸入訓練好的卷積神經網絡模型，得到重構后的高分辨率圖像。

所述卷積神經網絡模型包括三層卷積層和兩層池化層共5層架構，所述卷積層用于對輸入的圖像進行特征提取，所述池化層用于對輸入的特征圖進行壓縮。5層架構依次為第一卷積層、第一池化層、第二卷積層、第二池化層和第三卷積層，第一卷積層、第二卷積層的卷積核大小均為3*3，第三卷積層的卷積核大小為5*5。