[發(fā)明專利]面向視頻的超分辨率方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910432445.X
• 申請(qǐng)日: 2019-05-23
• 公開(kāi)（公告）號(hào): CN110136066B
• 公開(kāi)（公告）日: 2023-02-24
• 發(fā)明（設(shè)計(jì)）人: 李超;何棟梁;劉霄;丁予康;文石磊;丁二銳;張赫男;孫昊
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T7/90;H04N21/4402
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種面向視頻的超分辨率方法，其特征在于，包括：

基于原始視頻中的連續(xù)幀圖像提取超圖；

將所述超圖對(duì)應(yīng)的超圖向量輸入殘差卷積神經(jīng)網(wǎng)絡(luò)，得到所述殘差卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果，其中，所述超圖向量和所述輸出結(jié)果均包括對(duì)應(yīng)的長(zhǎng)度維度信息、寬度維度信息和通道維度信息；

將所述殘差卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果中的長(zhǎng)度維度信息、寬度維度信息和通道維度信息輸入空間上采樣網(wǎng)絡(luò)，并對(duì)所述輸出結(jié)果執(zhí)行通道空間轉(zhuǎn)換操作，得到超分辨率后的視頻幀，所述原始視頻的超分辨率視頻包括多幀所述視頻幀。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述超圖對(duì)應(yīng)的超圖向量輸入殘差卷積神經(jīng)網(wǎng)絡(luò)，包括：

按照時(shí)間順序排列所述超圖中每幀圖像的通道，并將排列后的通道序列作為所述超圖向量的通道維度信息，所述通道包括紅色通道、綠色通道和藍(lán)色通道；

將所述超圖的長(zhǎng)度和寬度分別作為所述超圖向量的長(zhǎng)度維度信息和寬度維度信息。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述殘差卷積神經(jīng)網(wǎng)絡(luò)包括多層殘差卷積模塊，將所述超圖對(duì)應(yīng)的超圖向量輸入殘差卷積神經(jīng)網(wǎng)絡(luò)，得到所述殘差卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果，還包括：

將第i-1個(gè)輸入向量輸入第i層殘差卷積模塊，得到第i個(gè)輸出向量；

拼接所述第i個(gè)輸出向量的通道維度信息與所述第i-1個(gè)輸入向量的通道維度信息，并結(jié)合所述第i個(gè)輸出向量中的長(zhǎng)度維度信息和寬度維度信息，得到第i個(gè)輸入向量；

其中，i為大于2的整數(shù)，當(dāng)i等于1時(shí)，所述第i-1個(gè)輸入向量為所述超圖向量，當(dāng)i等于預(yù)設(shè)值時(shí)，將所述第i個(gè)輸入向量作為所述殘差卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述殘差卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果中的長(zhǎng)度維度信息、寬度維度信息和通道維度信息輸入空間上采樣網(wǎng)絡(luò)，并對(duì)所述輸出結(jié)果執(zhí)行通道空間轉(zhuǎn)換操作，得到超分辨率后的視頻幀，包括：

轉(zhuǎn)換所述輸出結(jié)果的尺寸，得到中間轉(zhuǎn)換結(jié)果，其中，所述中間轉(zhuǎn)換結(jié)果的尺寸等于所述輸出結(jié)果的長(zhǎng)度維度信息*所述輸出結(jié)果的寬度維度信息*通道維度數(shù)，所述通道維度數(shù)等于f*f*3，f為預(yù)設(shè)的放大比例系數(shù)；

對(duì)所述中間轉(zhuǎn)換結(jié)果執(zhí)行通道空間轉(zhuǎn)換操作，得到指定尺寸的所述視頻幀，其中，所述指定尺寸等于(所述輸出結(jié)果的長(zhǎng)度維度信息*f)*(所述輸出結(jié)果的寬度維度信息*f)。

5.根據(jù)權(quán)利要求1至4任一項(xiàng)所述的方法，其特征在于，基于原始視頻中的連續(xù)幀圖像提取超圖，包括：

在三維坐標(biāo)系中，采用預(yù)設(shè)矩形框在時(shí)間軸方向上剖切所述連續(xù)幀圖像，得到用立方體表示的超圖，所述三維坐標(biāo)系包括長(zhǎng)度軸、寬度軸和所述時(shí)間軸；

將所述立方體作為所述超圖。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，將所述立方體作為所述超圖，包括：

對(duì)所述立方體執(zhí)行增益操作，得到所述超圖，所述增益操作包括在所述長(zhǎng)度軸上的翻轉(zhuǎn)、在所述寬度軸上的翻轉(zhuǎn)、在所述時(shí)間軸上的翻轉(zhuǎn)以及在所述長(zhǎng)度軸和所述寬度軸所在平面上的旋轉(zhuǎn)中的至少一種。

7.一種面向視頻的超分辨率裝置，其特征在于，包括：

提取模塊，用于基于原始視頻中的連續(xù)幀圖像提取超圖；

第一輸入模塊，用于將所述超圖對(duì)應(yīng)的超圖向量輸入殘差卷積神經(jīng)網(wǎng)絡(luò)，得到所述殘差卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果，其中，所述超圖向量和所述輸出結(jié)果均包括對(duì)應(yīng)的長(zhǎng)度維度信息、寬度維度信息和通道維度信息；

第二輸入模塊，用于將所述殘差卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果中的長(zhǎng)度維度信息、寬度維度信息和通道維度信息輸入空間上采樣網(wǎng)絡(luò)，并對(duì)所述輸出結(jié)果執(zhí)行通道空間轉(zhuǎn)換操作，得到超分辨率后的視頻幀，所述原始視頻的超分辨率視頻包括多幀所述視頻幀。