[發(fā)明專利]全知型視頻超分辨率網(wǎng)絡(luò)、視頻超分辨率重建方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110549356.0
• 申請日: 2021-05-20
• 公開（公告）號: CN113344780A
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計）人: 王中元;易鵬;江奎;王光成
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 肖明洲

本發(fā)明公開了一種全知型視頻超分辨率網(wǎng)絡(luò)、視頻超分辨率重建方法及系統(tǒng)，全知型視頻超分辨率網(wǎng)絡(luò)，由先驅(qū)網(wǎng)絡(luò)和后繼網(wǎng)絡(luò)兩個子網(wǎng)絡(luò)組成；本發(fā)明首先選取若干視頻數(shù)據(jù)作為訓(xùn)練樣本，從每個視頻幀中相同的位置截取圖像作為高分辨率學(xué)習(xí)目標(biāo)，將其下采樣r倍，得到低分辨率圖像，作為網(wǎng)絡(luò)的輸入；然后根據(jù)全知型視頻超分辨率框架的類型，將低分辨率幀依前向(局部全知型)或是后向(全局全知型)輸入先驅(qū)網(wǎng)絡(luò)，生成所有低分辨率幀對應(yīng)的隱狀態(tài)和高分辨率結(jié)構(gòu)信息；接著將低分辨率幀，以及步驟2中得到的隱狀態(tài)依前向輸入后繼網(wǎng)絡(luò)，進(jìn)一步生成隱狀態(tài)和高分辨率細(xì)節(jié)信息；最后將高分辨率結(jié)構(gòu)信息和細(xì)節(jié)信息相加，得到最終重建的高分辨率視頻幀。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)字圖像處理技術(shù)領(lǐng)域，涉及一種全知型視頻超分辨率網(wǎng)絡(luò)、視頻超分辨率重建方法及系統(tǒng)。

背景技術(shù)

近年來，隨著科技的發(fā)展，視頻已經(jīng)成為人們生活中越來越重要的信息載體。然而，受到硬件設(shè)備和流量帶寬的限制，高分辨率的視頻普及程度仍然有限。視頻超分辨率技術(shù)能從低分辨率的視頻重建出對應(yīng)的高分辨率視頻，廣泛應(yīng)用于視頻監(jiān)控、衛(wèi)星遙感、視頻會議等領(lǐng)域。

現(xiàn)存的國際領(lǐng)先的視頻超分辨率方法大多專注于設(shè)計更加復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，以更好地擬合低分辨率空間到高分辨率空間的映射關(guān)系，卻忽略了視頻超分辨率框架的設(shè)計。然而，框架是視頻超分辨率算法的基石，對于同樣的一個網(wǎng)絡(luò)模型，較差的框架不能完全挖掘出該模型的潛力，而一個好的框架則能充分發(fā)揮出它的性能。

現(xiàn)有的視頻超分辨率網(wǎng)絡(luò)框架可以概括為三種：迭代型網(wǎng)絡(luò)框架，循環(huán)型網(wǎng)絡(luò)框架，以及混合型網(wǎng)絡(luò)框架。迭代型網(wǎng)絡(luò)框架只考慮將低分辨率視頻幀作為處理對象，根據(jù)給定的中心幀，它利用其周圍的視頻幀(通常取前后各1到3幀)來生成中心高分辨率視頻幀，并以一種滑動窗口的方式迭代地處理整個視頻序列。循環(huán)型網(wǎng)絡(luò)框架采用過去和當(dāng)前的低分辨率幀，以及過去的超分辨率結(jié)果作為信息來源，然而卻忽視了未來的低分辨率幀。混合型網(wǎng)絡(luò)框架則整合了這二者的對象信息，但仍然沒有全面囊括蘊(yùn)含在視頻序列中的信息來源。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本發(fā)明提供了一種全知型視頻超分辨率網(wǎng)絡(luò)、視頻超分辨率重建方法及系統(tǒng)。核心思想在于將過去、現(xiàn)在及未來的低分辨率視頻幀以及超分過程中產(chǎn)生的中間結(jié)果(隱狀態(tài))作為信息來源，以充分挖掘蘊(yùn)含在視頻序列中的時空域相關(guān)信息。

本發(fā)明提供的一種全知型視頻超分辨率網(wǎng)絡(luò)，由先驅(qū)網(wǎng)絡(luò)和后繼網(wǎng)絡(luò)兩個子網(wǎng)絡(luò)組成；

根據(jù)先驅(qū)網(wǎng)絡(luò)和后繼網(wǎng)絡(luò)的處理方向，全知型視頻超分辨率網(wǎng)絡(luò)分為局部全知型視頻超分辨率網(wǎng)絡(luò)和全局全知型視頻超分辨率網(wǎng)絡(luò)；

所述局部全知型視頻超分辨率網(wǎng)絡(luò)的先驅(qū)網(wǎng)絡(luò)和后繼網(wǎng)絡(luò)的處理方向是相同的，均為前向；所述局部全知型視頻超分辨率網(wǎng)絡(luò)的先驅(qū)網(wǎng)絡(luò)的處理過程為：

其中，表示上一時刻、當(dāng)前時刻和下一時刻的低分辨率視頻幀，為上一時刻的隱狀態(tài)，Net_p表示先驅(qū)網(wǎng)絡(luò)，為當(dāng)前時刻的隱狀態(tài)，為當(dāng)前時刻先驅(qū)網(wǎng)絡(luò)產(chǎn)生的超分辨率視頻幀結(jié)構(gòu)信息；

所述全局全知型視頻超分辨率網(wǎng)絡(luò)的先驅(qū)網(wǎng)絡(luò)和后繼網(wǎng)絡(luò)的處理方向是相反的，其中先驅(qū)網(wǎng)絡(luò)的方向是后向，后繼網(wǎng)絡(luò)則是前向；全局全知型視頻超分辨率網(wǎng)絡(luò)的先驅(qū)網(wǎng)絡(luò)的處理過程為：

所述后繼網(wǎng)絡(luò)的處理過程為：

其中是當(dāng)前時刻和下一時刻的先驅(qū)網(wǎng)絡(luò)產(chǎn)生的隱狀態(tài)，而則是后繼網(wǎng)絡(luò)本身產(chǎn)生的上一時刻的隱狀態(tài)，Net_s表示后繼網(wǎng)絡(luò)，為當(dāng)前時刻的隱狀態(tài)，而則是當(dāng)前時刻后繼網(wǎng)絡(luò)產(chǎn)生的超分辨率視頻幀細(xì)節(jié)信息。

本發(fā)明的方法所采用的技術(shù)方案是：一種視頻超分辨率重建方法，包括以下步驟：