[發(fā)明專利]一種基于精簡(jiǎn)卷積神經(jīng)網(wǎng)絡(luò)的快速視頻超分辨率重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810467095.6
• 申請(qǐng)日: 2018-05-16
• 公開（公告）號(hào): CN108830790B
• 公開（公告）日: 2022-09-13
• 發(fā)明（設(shè)計(jì)）人: 蔣剛毅;潘志勇;郁梅;謝登梅;彭宗舉;陳芬;邵華
• 申請(qǐng)（專利權(quán)）人: 寧波大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40
• 代理公司: 寧波甬致專利代理有限公司 33228
• 代理人: 李迎春

本發(fā)明涉及一種基于精簡(jiǎn)卷積神經(jīng)網(wǎng)絡(luò)的快速視頻超分辨率重建方法，其既能利用視頻幀之間的鄰域信息，又保證重建速度。首先，考慮到輸入的尺寸大小會(huì)直接影響網(wǎng)絡(luò)的運(yùn)算速度，本發(fā)明網(wǎng)絡(luò)省去傳統(tǒng)方法的預(yù)插值過程，直接對(duì)多個(gè)低分辨率輸入視頻幀提取特征，并進(jìn)行多維特征通道融合；接著，為了避免網(wǎng)絡(luò)中產(chǎn)生零梯度而丟失視頻的重要信息，采用參數(shù)線性糾正單元作為激活函數(shù)，并采用更小的濾波器尺寸調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)以進(jìn)行多層映射；最后，在網(wǎng)絡(luò)末端添加反卷積層上采樣得到重建視頻。同時(shí)，本發(fā)明還采用網(wǎng)絡(luò)遷移策略快速實(shí)現(xiàn)了不同縮放因子下的重建模型，重建的視頻圖像中能夠保留更多高頻細(xì)節(jié)信息，同時(shí)重建速度更快。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻超分辨率重建技術(shù)領(lǐng)域，尤其是涉及一種基于精簡(jiǎn)卷積神經(jīng)網(wǎng)絡(luò)的快速視頻超分辨率重建方法。

背景技術(shù)

近年來一些高清晰度視頻顯示器迅猛發(fā)展，給用戶帶來了一系列良好的視覺體驗(yàn)，使得視頻通信和娛樂成為最有前途的服務(wù)之一，例如超高清(Ultra High Definition，UHD)電視。與此同時(shí)，由于視頻拍攝設(shè)備的限制，大部分UHD分辨率的視頻內(nèi)容不能直接得到，因此，需要對(duì)所獲取的低分辨率(Low-Resolution，LR)視頻進(jìn)行超分辨率(Super-Resolution,SR)重建，得到高分辨率(High-Resolution，HR)視頻，從而滿足用戶日益增長(zhǎng)的需求，該技術(shù)在最近幾年已經(jīng)成為國(guó)際上最為活躍的研究領(lǐng)域之一。

現(xiàn)有的視頻超分辨率重建方法可以分為三大類：基于插值、基于多幀重建和基于單圖重建的方法。第一類基于插值的方法的基本思想是采用插值核函數(shù)進(jìn)行重建。目前使用最廣泛的插值方法是雙三次(Bicubic)插值，其像素值通過矩形網(wǎng)格中最近的十六個(gè)采樣點(diǎn)的加權(quán)平均得到。該類方法實(shí)現(xiàn)較為簡(jiǎn)單，重建速度快，適合實(shí)時(shí)性的應(yīng)用，但是會(huì)產(chǎn)生振鈴和鋸齒偽影現(xiàn)象，不能較好恢復(fù)圖像在下采樣過程中丟失的高頻分量，因此其結(jié)果不足以滿足實(shí)際需求。

第二類方法是基于多幀重建的方法，將多個(gè)相鄰視頻幀作為輸入，并對(duì)其時(shí)域相關(guān)性建模，從而重建出HR視頻。例如Shan等人提出快速視頻重建(Fast video Upsampling，F(xiàn)US)方法，結(jié)合了圖像形成模型，并且考慮了自然圖像統(tǒng)計(jì)，同時(shí)自動(dòng)保持時(shí)域一致性，從輸入數(shù)據(jù)中恢復(fù)出HR視頻。然而其在抽取過程中丟失的邊緣或紋理無法恢復(fù)，而且該類方法往往需要解決復(fù)雜的優(yōu)化問題，重建速度偏慢。

第三類基于單圖重建的方法的基本思路是通過訓(xùn)練集獲取LR圖像和HR圖像之間的映射關(guān)系，從而對(duì)輸入的LR圖像尋找最優(yōu)解。例如Yang等人采用一個(gè)復(fù)雜的稀疏編碼(Sparse Coding，SC)模型，訓(xùn)練出高低分辨率字典，假定LR/HR圖像塊擁有共同的稀疏表達(dá)系數(shù)，由LR字典對(duì)應(yīng)的稀疏表達(dá)系數(shù)與HR字典相乘得到HR圖像塊。然而，該類基于稀疏編碼的SR方法計(jì)算量大，不適用于有實(shí)時(shí)要求的重建。隨著深度神經(jīng)網(wǎng)絡(luò)成功應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域，研究者開始嘗試用深度學(xué)習(xí)模型進(jìn)行超分辨率重建。Dong等人首次提出基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)的超分辨率重建模型(Super-Resolution Convolutional NeuralNetwork,SRCNN)，通過建立深度學(xué)習(xí)模型與稀疏編碼模型之間的關(guān)系，直接學(xué)習(xí)LR圖像到HR圖像的端到端的映射。但是若直接將其應(yīng)用于視頻SR，會(huì)忽略視頻幀之間的時(shí)域相關(guān)性。而這種時(shí)域相關(guān)性對(duì)視頻SR至關(guān)重要。

雖然相關(guān)研究已經(jīng)取得了較好的視頻超分辨率重建效果，但在計(jì)算速度和重建效果上仍存在一定不足。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是提供一種能夠提高運(yùn)算速度、增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)能力，并且優(yōu)化重建效果的基于精簡(jiǎn)卷積神經(jīng)網(wǎng)絡(luò)的快速視頻超分辨率重建方法。

本發(fā)明所采用的技術(shù)方案是，一種基于精簡(jiǎn)卷積神經(jīng)網(wǎng)絡(luò)的快速視頻超分辨率重建方法，包括以下步驟：