[發(fā)明專利]面向視頻的超分辨率方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910432445.X
• 申請(qǐng)日: 2019-05-23
• 公開（公告）號(hào): CN110136066B
• 公開（公告）日: 2023-02-24
• 發(fā)明（設(shè)計(jì)）人: 李超;何棟梁;劉霄;丁予康;文石磊;丁二銳;張赫男;孫昊
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T7/90;H04N21/4402
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

本發(fā)明實(shí)施例提出一種面向視頻的超分辨率方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)，其中的方法包括基于原始視頻中的連續(xù)幀圖像提取超圖；將超圖對(duì)應(yīng)的超圖向量輸入殘差卷積神經(jīng)網(wǎng)絡(luò)，得到殘差卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果；將殘差卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果輸入空間上采樣網(wǎng)絡(luò)，得到超分辨率后的視頻幀，原始視頻的超分辨率視頻包括多幀視頻幀。本發(fā)明實(shí)施例的方法通過基于連續(xù)幀圖像組成的超圖來保留原始視頻中的時(shí)域信息，并利用殘差卷積神經(jīng)網(wǎng)絡(luò)和空間上采樣網(wǎng)絡(luò)對(duì)其進(jìn)行建模，可以在與圖像超分辨率網(wǎng)絡(luò)同等量級(jí)的計(jì)算復(fù)雜度下，大幅提升視頻超分辨率的效果。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻處理技術(shù)領(lǐng)域，尤其涉及一種面向視頻的超分辨率方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著移動(dòng)互聯(lián)網(wǎng)的興起，用戶存儲(chǔ)和轉(zhuǎn)發(fā)信息的方式逐漸從文字、圖片過渡到視頻。然而，視頻傳輸需要較高的網(wǎng)絡(luò)帶寬，視頻的存儲(chǔ)亦需要加大的硬盤空間。視頻超分辨率技術(shù)可以將低分辨率的視頻轉(zhuǎn)換成高分辨率的視頻。視頻服務(wù)可以傳輸和存儲(chǔ)較低分辨率的視頻，為用戶播放時(shí)利用超分辨率技術(shù)呈現(xiàn)出高分辨的視頻，在節(jié)省帶寬和存儲(chǔ)空間的同時(shí)為用戶提供優(yōu)質(zhì)的視頻觀看體驗(yàn)?，F(xiàn)有的超分辨率技術(shù)中，利用圖像超分辨率的方法對(duì)視頻逐幀進(jìn)行超分辨率，超分辨率效果較差，且無法處理視頻中的動(dòng)態(tài)模糊；利用光流、動(dòng)作補(bǔ)償?shù)燃夹g(shù)的超分辨率方法，計(jì)算量大，且由于依賴光流預(yù)訓(xùn)練，會(huì)將預(yù)訓(xùn)練中的誤差傳播到超分辨率任務(wù)中，導(dǎo)致超分辨率效果退化。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種面向視頻的超分辨率方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)中的一個(gè)或多個(gè)技術(shù)問題。

第一方面，本發(fā)明實(shí)施例提供了一種面向視頻的超分辨率方法，包括：

基于原始視頻中的連續(xù)幀圖像提取超圖；

將所述超圖對(duì)應(yīng)的超圖向量輸入殘差卷積神經(jīng)網(wǎng)絡(luò)，得到所述殘差卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果；

將所述殘差卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果輸入空間上采樣網(wǎng)絡(luò)，得到超分辨率后的視頻幀，所述原始視頻的超分辨率視頻包括多幀所述視頻幀。

在一種實(shí)施方式中，將所述超圖對(duì)應(yīng)的超圖向量輸入殘差卷積神經(jīng)網(wǎng)絡(luò)，包括：

按照時(shí)間順序排列所述超圖中每幀圖像的通道，并將排列后的通道序列作為所述超圖向量的通道維度信息，所述通道包括紅色通道、綠色通道和藍(lán)色通道；

將所述超圖的長(zhǎng)度和寬度分別作為所述超圖向量的長(zhǎng)度維度信息和寬度維度信息。

在一種實(shí)施方式中，所述殘差卷積神經(jīng)網(wǎng)絡(luò)包括多層殘差卷積模塊，將所述超圖對(duì)應(yīng)的超圖向量輸入殘差卷積神經(jīng)網(wǎng)絡(luò)，得到所述殘差卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果，還包括：

將第i-1個(gè)輸入向量輸入第i層殘差卷積模塊，得到第i個(gè)輸出向量；

拼接所述第i個(gè)輸出向量的通道維度信息與所述第i-1個(gè)輸入向量的通道維度信息，并結(jié)合所述第i個(gè)輸出向量中的長(zhǎng)度維度信息和寬度維度信息，得到第i個(gè)輸入向量；

其中，i為大于2的整數(shù)，當(dāng)i等于1時(shí)，所述第i-1個(gè)輸入向量為所述超圖向量，當(dāng)i等于預(yù)設(shè)值時(shí)，將所述第i個(gè)輸入向量作為所述殘差卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果。

在一種實(shí)施方式中，將所述殘差卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果輸入空間上采樣網(wǎng)絡(luò)，得到超分辨率后的視頻幀，包括：

轉(zhuǎn)換所述輸出結(jié)果的尺寸，得到中間轉(zhuǎn)換結(jié)果，其中，所述中間轉(zhuǎn)換結(jié)果的尺寸等于所述輸出結(jié)果的長(zhǎng)度維度信息*所述輸出結(jié)果的寬度維度信息*通道維度數(shù)，所述通道維度數(shù)等于f*f*3，f為預(yù)設(shè)的放大比例系數(shù)；

對(duì)所述中間轉(zhuǎn)換結(jié)果執(zhí)行通道空間轉(zhuǎn)換操作，得到指定尺寸的所述視頻幀，其中，所述指定尺寸等于(所述輸出結(jié)果的長(zhǎng)度維度信息*f)*(所述輸出結(jié)果的寬度維度信息*f)。

在一種實(shí)施方式中，基于原始視頻中的連續(xù)幀圖像提取超圖，包括：