[發(fā)明專利]一種圖像處理方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010822864.7
• 申請日: 2020-08-14
• 公開（公告）號: CN111970513A
• 公開（公告）日: 2020-11-20
• 發(fā)明（設(shè)計）人: 祁世風(fēng);何翔;吳濤;胡海;覃小春
• 申請（專利權(quán)）人: 成都數(shù)字天空科技有限公司
• 主分類號: H04N19/42
• 分類號: H04N19/42;H04N19/132;H04N19/117;H04N21/234;H04N21/44;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 唐正瑜

1.一種圖像處理方法，其特征在于，應(yīng)用于終端設(shè)備，包括：

接收服務(wù)器發(fā)送的視頻編碼圖像，所述視頻編碼圖像是對視頻流數(shù)據(jù)中的視頻圖像進(jìn)行超分辨率壓縮和編碼獲得的；

將所述視頻編碼圖像進(jìn)行解碼，獲得視頻解碼圖像；

將所述視頻解碼圖像進(jìn)行超分辨率重建，獲得超分辨率圖像；

根據(jù)所述超分辨率圖像生成視頻流數(shù)據(jù)，并將所述視頻流數(shù)據(jù)存儲或播放顯示。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述視頻解碼圖像進(jìn)行超分辨率重建，獲得超分辨率圖像，包括：

使用超分辨率重建網(wǎng)絡(luò)模型中的上采樣網(wǎng)絡(luò)對所述視頻解碼圖像進(jìn)行上采樣，獲得上采樣圖像；

使用所述超分辨率重建網(wǎng)絡(luò)模型中的殘差學(xué)習(xí)網(wǎng)絡(luò)提取所述上采樣圖像的細(xì)節(jié)特征，獲得細(xì)節(jié)特征圖；

將所述細(xì)節(jié)特征圖和所述上采樣圖像進(jìn)行融合，獲得所述超分辨率圖像。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述上采樣網(wǎng)絡(luò)包括：動態(tài)濾波器生成網(wǎng)絡(luò)和上采樣濾波器；所述使用超分辨率重建網(wǎng)絡(luò)模型中的上采樣網(wǎng)絡(luò)對所述視頻解碼圖像進(jìn)行上采樣，獲得上采樣圖像，包括：

使用所述動態(tài)濾波器生成網(wǎng)絡(luò)提取所述視頻解碼圖像的上采樣權(quán)重；

使用所述上采樣濾波器根據(jù)所述視頻解碼圖像的上采樣權(quán)重對所述視頻解碼圖像進(jìn)行濾波，獲得上采樣圖像。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述視頻解碼圖像進(jìn)行超分辨率重建，獲得超分辨率圖像，包括：

使用插值算法對所述視頻解碼圖像進(jìn)行上采樣，獲得上采樣圖像；

提取所述上采樣圖像的深度信息，獲得深度特征圖；

將所述深度特征圖和所述上采樣圖像進(jìn)行融合，獲得所述超分辨率圖像。

5.一種圖像處理方法，其特征在于，應(yīng)用于服務(wù)器，包括：

獲得視頻流數(shù)據(jù)中的視頻圖像；

使用超分辨率壓縮網(wǎng)絡(luò)模型將所述視頻流數(shù)據(jù)中的視頻圖像進(jìn)行超分辨率壓縮，獲得視頻壓縮圖像；

將所述視頻壓縮圖像進(jìn)行編碼，獲得視頻編碼圖像；

將所述視頻編碼圖像發(fā)送給終端設(shè)備。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述超分辨率壓縮網(wǎng)絡(luò)模型包括：第一卷積層、第二卷積層和第三卷積層；所述使用超分辨率壓縮網(wǎng)絡(luò)模型將所述視頻流數(shù)據(jù)中的視頻圖像進(jìn)行超分辨率壓縮，獲得視頻壓縮圖像，包括：

使用所述第一卷積層中的卷積函數(shù)和非線性激活函數(shù)提取所述視頻圖像的第一特征圖；

使用所述第二卷積層中的卷積函數(shù)、批量歸一化函數(shù)和非線性激活函數(shù)對所述第一特征圖進(jìn)行分辨率下采樣，獲得第二特征圖；

使用所述第三卷積層中的卷積函數(shù)對所述第二特征圖進(jìn)行特征篩選，獲得所述視頻壓縮圖像。

7.一種圖像處理裝置，其特征在于，應(yīng)用于終端設(shè)備，包括：

編碼圖像接收模塊，用于接收服務(wù)器發(fā)送的視頻編碼圖像，所述視頻編碼圖像是對視頻流數(shù)據(jù)中的視頻圖像進(jìn)行超分辨率壓縮和編碼獲得的；

解碼圖像獲得模塊，用于將所述視頻編碼圖像進(jìn)行解碼，獲得視頻解碼圖像；

超分辨率重建模塊，用于將所述視頻解碼圖像進(jìn)行超分辨率重建，獲得超分辨率圖像；

視頻生成顯示模塊，用于根據(jù)所述超分辨率圖像生成視頻流數(shù)據(jù)，并將所述視頻流數(shù)據(jù)存儲或播放顯示。

8.一種圖像處理裝置，其特征在于，應(yīng)用于服務(wù)器，包括：

視頻圖像獲得模塊，用于獲得視頻流數(shù)據(jù)中的視頻圖像；

壓縮圖像獲得模塊，用于使用超分辨率壓縮網(wǎng)絡(luò)模型將所述視頻流數(shù)據(jù)中的視頻圖像進(jìn)行超分辨率壓縮，獲得視頻壓縮圖像；

編碼圖像獲得模塊，用于將所述視頻壓縮圖像進(jìn)行編碼，獲得視頻編碼圖像；

編碼圖像發(fā)送模塊，用于將所述視頻編碼圖像發(fā)送給終端設(shè)備。

9.一種電子設(shè)備，其特征在于，包括：處理器和存儲器，所述存儲器存儲有所述處理器可執(zhí)行的機(jī)器可讀指令，所述機(jī)器可讀指令被所述處理器執(zhí)行時執(zhí)行如權(quán)利要求1至6任一所述的方法。

10.一種存儲介質(zhì)，其特征在于，該存儲介質(zhì)上存儲有計算機(jī)程序，該計算機(jī)程序被處理器運(yùn)行時執(zhí)行如權(quán)利要求1至6任一所述的方法。