[發(fā)明專利]提升空間可分級(jí)編碼視頻在丟包網(wǎng)絡(luò)中重建質(zhì)量的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010456887.0
• 申請(qǐng)日: 2020-05-26
• 公開（公告）號(hào): CN111726623B
• 公開（公告）日: 2022-11-11
• 發(fā)明（設(shè)計(jì)）人: 宋利;虞盛煒;解蓉;張文軍
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): H04N19/33
• 分類號(hào): H04N19/33;H04N19/154;H04N19/59;H04N19/70;G06K9/62;G06N3/04
• 代理公司: 上海恒慧知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 31317
• 代理人: 徐紅銀

1.一種提升空間可分級(jí)編碼視頻在丟包網(wǎng)絡(luò)中重建質(zhì)量的方法，其特征在于，包括：

S1，獲取當(dāng)前幀的初步高分辨率圖像；

S2，將所述初步高分辨率圖像經(jīng)過第一CNN網(wǎng)絡(luò)獲取初步圖像特征；

S3，分別提取當(dāng)前幀的所述初步高分辨率圖像和前幾幀解碼得到的高分辨率圖像的運(yùn)動(dòng)特征，將所述運(yùn)動(dòng)特征與所述初步圖像特征進(jìn)行融合，得到融合特征；所述運(yùn)動(dòng)特征采用一個(gè)循環(huán)網(wǎng)絡(luò)獲取，所述循環(huán)網(wǎng)絡(luò)為第二CNN網(wǎng)絡(luò)，所述第二CNN網(wǎng)絡(luò)用于實(shí)現(xiàn)運(yùn)動(dòng)特征提取和融合；

S4，將所述循環(huán)網(wǎng)絡(luò)輸出的所有融合特征級(jí)聯(lián)，恢復(fù)出當(dāng)前幀高分辨率圖像；

所述S1中，解碼空間分級(jí)編碼視頻時(shí)，如果當(dāng)前幀增強(qiáng)層丟失，只能解碼得到低分辨率圖像，則通過一個(gè)基于神經(jīng)網(wǎng)絡(luò)的圖像超分辨率算法得到一個(gè)初步高分辨率圖像。

2.根據(jù)權(quán)利要求1所述的提升空間可分級(jí)編碼視頻在丟包網(wǎng)絡(luò)中重建質(zhì)量的方法，其特征在于：所述運(yùn)動(dòng)特征是指包含前后幀圖像間的運(yùn)動(dòng)信息的圖像特征。

3.根據(jù)權(quán)利要求1所述的提升空間可分級(jí)編碼視頻在丟包網(wǎng)絡(luò)中重建質(zhì)量的方法，其特征在于：S3中，將所述運(yùn)動(dòng)特征與所述初步圖像特征進(jìn)行融合是通過一個(gè)特征融合模塊來實(shí)現(xiàn)的，其中，所述特征融合模塊主要由兩個(gè)ResBlock組成，整體結(jié)構(gòu)采用殘差的思想。

4.根據(jù)權(quán)利要求1所述的提升空間可分級(jí)編碼視頻在丟包網(wǎng)絡(luò)中重建質(zhì)量的方法，其特征在于：S4中，將得到的所有融合特征與所述初步圖像特征一起輸入到第三CNN網(wǎng)絡(luò)中，得到高質(zhì)量高分辨率圖像；所述第三網(wǎng)絡(luò)為單層網(wǎng)絡(luò)，用于最終的圖像還原。

5.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)可用于執(zhí)行權(quán)利要求1-4任一所述的方法。