[發(fā)明專(zhuān)利]圖像處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010733118.0
• 申請(qǐng)日: 2020-07-27
• 公開(kāi)（公告）號(hào): CN111861888A
• 公開(kāi)（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 董潤(rùn)敏
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海商湯智能科技有限公司
• 主分類(lèi)號(hào): G06T3/40
• 分類(lèi)號(hào): G06T3/40;G06K9/62
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 靳玫

本公開(kāi)涉及圖像處理領(lǐng)域，具體涉及一種圖像處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。圖像處理方法包括：獲取待處理的原始圖像以及與原始圖像對(duì)應(yīng)的參考圖像；參考圖像的分辨率高于原始圖像；對(duì)原始圖像進(jìn)行特征提取得到第一特征集；對(duì)參考圖像進(jìn)行特征提取得到第二特征集；根據(jù)第一特征集和第二特征集進(jìn)行特征對(duì)齊，得到具有多個(gè)不同圖像尺度的多個(gè)對(duì)齊特征數(shù)據(jù)；將多個(gè)對(duì)齊特征數(shù)據(jù)與原始圖像進(jìn)行特征融合，得到處理后的目標(biāo)圖像。通過(guò)不同尺度的特征數(shù)據(jù)利用金字塔級(jí)聯(lián)逐層級(jí)的進(jìn)行特征對(duì)齊，有效將參考圖像特征匹配到原始圖像的對(duì)應(yīng)位置，減少或消除拍攝角度或者拍攝時(shí)間不同帶來(lái)的影響，在圖像的超分過(guò)程中，更加有效地結(jié)合參考圖像特征。

技術(shù)領(lǐng)域

本公開(kāi)涉及圖像處理領(lǐng)域，具體涉及一種圖像處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

圖像的超分辨率重建，是指將低分辨率的原始圖像重建為較高分辨率圖像的過(guò)程，從而可以從高分辨率圖像中獲得更多的圖像信息。圖像的超分辨率研究主要可分為單景重建(SISR)和多景重建(MISR)，多景重建是使用同一場(chǎng)景的多個(gè)低分辨率圖像(LR)，利用它們之間的互補(bǔ)信息來(lái)重建得到高分辨率圖像(HR)，但是在實(shí)際應(yīng)用中，往往無(wú)法獲得多個(gè)LR圖像，因此需要使用有限的LR信息來(lái)重建HR圖像，即單景重建。

相關(guān)技術(shù)中，基于參考影像的圖像單景超分辨率方法中，在一些場(chǎng)景下，高分辨率參考圖像的圖像特征難以充分有效的結(jié)合至LR圖像中，導(dǎo)致圖像的超分辨率效果較為一般。

發(fā)明內(nèi)容

為提高圖像超分辨率處理的效果，本公開(kāi)實(shí)施方式提供了一種圖像處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

第一方面，本公開(kāi)實(shí)施方式提供了一種圖像處理方法，包括：

獲取待處理的原始圖像以及與所述原始圖像對(duì)應(yīng)的參考圖像；所述參考圖像的分辨率高于所述原始圖像；

對(duì)所述原始圖像進(jìn)行特征提取得到第一特征集；所述第一特征集包括具有多個(gè)不同圖像尺度的第一特征數(shù)據(jù)；所述第一特征數(shù)據(jù)包括所述原始圖像的圖像特征數(shù)據(jù)和梯度特征數(shù)據(jù)；

對(duì)所述參考圖像進(jìn)行特征提取得到第二特征集；所述第二特征集包括具有所述多個(gè)不同圖像尺度的第二特征數(shù)據(jù)；所述第二特征數(shù)據(jù)包括所述參考圖像的圖像特征數(shù)據(jù)和梯度特征數(shù)據(jù)；

根據(jù)所述第一特征集和所述第二特征集進(jìn)行特征對(duì)齊，得到具有所述多個(gè)不同圖像尺度的多個(gè)對(duì)齊特征數(shù)據(jù)；

將所述多個(gè)對(duì)齊特征數(shù)據(jù)與所述原始圖像進(jìn)行特征融合，得到處理后的目標(biāo)圖像。

在一些實(shí)施方式中，所述對(duì)所述參考圖像進(jìn)行特征提取得到第二特征集，包括：

對(duì)所述參考圖像進(jìn)行重采樣，得到所述參考圖像的重采樣圖像；

對(duì)所述重采樣圖像進(jìn)行特征提取，得到具有所述多個(gè)不同圖像尺度的第三特征數(shù)據(jù)；所述第三特征數(shù)據(jù)包括所述重采樣圖像的圖像特征數(shù)據(jù)和梯度特征數(shù)據(jù)；

根據(jù)具有所述多個(gè)不同圖像尺度的所述第二特征數(shù)據(jù)和具有所述多個(gè)不同圖像尺度的所述第三特征數(shù)據(jù)，得到所述第二特征集。

在一些實(shí)施方式中，所述根據(jù)具有所述多個(gè)不同圖像尺度的所述第二特征數(shù)據(jù)和具有所述多個(gè)不同圖像尺度的第三特征數(shù)據(jù)，得到所述第二特征集，包括：

對(duì)所述參考圖像進(jìn)行特征提取，得到具有所述多個(gè)不同圖像尺度的所述參考圖像的圖像特征和梯度特征；將具有同一圖像尺度的所述參考圖像的圖像特征與梯度特征通道結(jié)合，得到所述參考圖像的所述第二特征數(shù)據(jù)；

對(duì)所述參考圖像的重采樣圖像進(jìn)行特征提取，得到具有所述多個(gè)不同圖像尺度的所述重采樣圖像的圖像特征和梯度特征；將具有同一圖像尺度的所述重采樣圖像的圖像特征與梯度特征通道結(jié)合，得到所述重采樣圖像的所述第三特征數(shù)據(jù)；