[發(fā)明專利]一種圖像處理方法、裝置、電子設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110949361.0
• 申請日: 2021-08-18
• 公開（公告）號: CN113723480A
• 公開（公告）日: 2021-11-30
• 發(fā)明（設(shè)計(jì)）人: 黃星;宋叢禮;郭益林;鄭文;萬鵬飛
• 申請（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京中博世達(dá)專利商標(biāo)代理有限公司 11274
• 代理人: 申健

本公開關(guān)于一種圖像處理方法、裝置、電子設(shè)備和存儲介質(zhì)，涉及圖像處理技術(shù)領(lǐng)域，以至少解決相關(guān)技術(shù)中壓縮獎懲模塊的缺點(diǎn)是對基于深度學(xué)習(xí)的圖像風(fēng)格遷移網(wǎng)絡(luò)中深層特征的準(zhǔn)確率提升較明顯，但是對基于深度學(xué)習(xí)的圖像風(fēng)格遷移網(wǎng)絡(luò)中較淺特征的準(zhǔn)確率提升不明顯的問題。該方法包括：采用編碼器對原始圖像進(jìn)行特征提取，獲得原始圖像在編碼器的每一層次結(jié)構(gòu)的編碼特征；其中，編碼特征包括淺層特征；將編碼特征輸入到解碼器中，并執(zhí)行第一操作，得到結(jié)果特征圖；其中，編碼器和解碼器內(nèi)包含的層次結(jié)構(gòu)的總數(shù)相同；根據(jù)結(jié)果特征圖，確定原始圖像的處理結(jié)果。

技術(shù)領(lǐng)域

本公開涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像處理方法、裝置、電子設(shè)備和存儲介質(zhì)。

背景技術(shù)

基于深度學(xué)習(xí)的圖像風(fēng)格遷移(style transfer)網(wǎng)絡(luò)中，在進(jìn)行圖像分格遷移時(shí)，需要對該基于深度學(xué)習(xí)的圖像風(fēng)格遷移網(wǎng)絡(luò)中編碼器的特征和解碼器的特征進(jìn)行特征融合，從而保證原始圖像內(nèi)容沒有變化。但是，在對該基于深度學(xué)習(xí)的圖像風(fēng)格遷移網(wǎng)絡(luò)中編碼器的特征和解碼器的特征進(jìn)行特征融合的過程中往往需要大量的計(jì)算量。

為此，現(xiàn)有技術(shù)中提出了注意力機(jī)制，用于在保證風(fēng)格遷移后的原始圖像內(nèi)容沒有變化的同時(shí)，降低基于深度學(xué)習(xí)的圖像風(fēng)格遷移網(wǎng)絡(luò)中編碼器的特征和解碼器的特征進(jìn)行特征融合的過程中的計(jì)算量。如：壓縮獎懲模塊(squeeze-and-excitation block，SEblock)是Squeeze-and-Excitation Networks是由自動駕駛公司Momenta在2017年公布的一種全新的圖像識別結(jié)構(gòu)中的注意力機(jī)制，它通過對基于深度學(xué)習(xí)的圖像風(fēng)格遷移網(wǎng)絡(luò)中各個(gè)特征通道間的相關(guān)性進(jìn)行建模，把重要的特征進(jìn)行強(qiáng)化來提升準(zhǔn)確率。但是，SE block的缺點(diǎn)是對基于深度學(xué)習(xí)的圖像風(fēng)格遷移網(wǎng)絡(luò)中深層特征的準(zhǔn)確率提升較明顯，但是對基于深度學(xué)習(xí)的圖像風(fēng)格遷移網(wǎng)絡(luò)中較淺特征的準(zhǔn)確率提升不明顯。

發(fā)明內(nèi)容

本公開提供一種圖像處理方法、裝置、電子設(shè)備和存儲介質(zhì)，以至少解決相關(guān)技術(shù)中壓縮獎懲模塊的缺點(diǎn)是對基于深度學(xué)習(xí)的圖像風(fēng)格遷移網(wǎng)絡(luò)中深層特征的準(zhǔn)確率提升較明顯，但是對基于深度學(xué)習(xí)的圖像風(fēng)格遷移網(wǎng)絡(luò)中較淺特征的準(zhǔn)確率提升不明顯。

本公開的技術(shù)方案如下：

根據(jù)本公開實(shí)施例的第一方面，提供一種圖像處理方法，包括：采用編碼器對原始圖像進(jìn)行特征提取，獲得原始圖像在編碼器的每一層次結(jié)構(gòu)的編碼特征；其中，編碼特征包括淺層特征；將編碼特征輸入到解碼器中，根據(jù)解碼器中當(dāng)前層次結(jié)構(gòu)的解碼特征以及編碼器中與當(dāng)前層次結(jié)構(gòu)的解碼特征對應(yīng)的編碼特征，確定剔除預(yù)設(shè)特征后的編碼特征；根據(jù)剔除預(yù)設(shè)特征后的編碼特征和解碼特征，確定結(jié)果特征圖；其中，編碼器和解碼器內(nèi)包含的層次結(jié)構(gòu)的總數(shù)相同；根據(jù)結(jié)果特征圖，確定原始圖像的處理結(jié)果。

在一種可實(shí)施的方式中，上述“根據(jù)解碼器中當(dāng)前層次結(jié)構(gòu)的解碼特征以及編碼器中與當(dāng)前層次結(jié)構(gòu)的解碼特征對應(yīng)的編碼特征，確定剔除預(yù)設(shè)特征后的編碼特征”，具體可以通過下述方式實(shí)現(xiàn)：對解碼特征和編碼特征中的特征進(jìn)行特征融合，確定第一融合特征；根據(jù)第一融合特征，確定解碼特征與編碼特征之間的關(guān)聯(lián)度；根據(jù)關(guān)聯(lián)度和編碼特征，確定剔除預(yù)設(shè)特征后的編碼特征。

在一種可實(shí)施的方式中，上述“根據(jù)剔除預(yù)設(shè)特征后的編碼特征和解碼特征，確定結(jié)果特征圖”，具體可以通過下述方式實(shí)現(xiàn)：對剔除預(yù)設(shè)特征后的編碼特征和解碼特征進(jìn)行特征融合，確定第二融合特征，并將第二融合特征作為解碼器在下一層次結(jié)構(gòu)的解碼特征；當(dāng)下一層次結(jié)構(gòu)是最后一個(gè)層次結(jié)構(gòu)時(shí)，將下一層次結(jié)構(gòu)確定的第二融合特征對應(yīng)的特征圖作為結(jié)果特征圖。

在一種可實(shí)施的方式中，本公開實(shí)施例提供的圖像處理方法還包括：當(dāng)下一層次結(jié)構(gòu)不是最后一個(gè)層次結(jié)構(gòu)時(shí)，根據(jù)解碼器在下一層次結(jié)構(gòu)的解碼特征，以及編碼器中與下一層次結(jié)構(gòu)的解碼特征對應(yīng)的編碼特征，確定剔除預(yù)設(shè)特征后的編碼特征；對剔除預(yù)設(shè)特征后的編碼特征和下一層次結(jié)構(gòu)的解碼特征進(jìn)行特征融合，確定第二融合特征，并將第二融合特征作為解碼器在下一層次結(jié)構(gòu)的解碼特征。