[發(fā)明專利]圖像處理方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011133246.8
• 申請(qǐng)日: 2020-10-21
• 公開（公告）號(hào): CN112232425A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設(shè)計(jì)）人: 胡風(fēng);朱安杰
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/08
• 代理公司: 深圳翼盛智成知識(shí)產(chǎn)權(quán)事務(wù)所(普通合伙) 44300
• 代理人: 李漢亮

本申請(qǐng)實(shí)施例公開了一種圖像處理方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備，其中圖像處理方法包括：獲取第一樣本圖像集，第一樣本圖像集包括多個(gè)帶有分類標(biāo)注信息的第一樣本圖像；對(duì)第一樣本圖像進(jìn)行畫面風(fēng)格轉(zhuǎn)換處理，得到指定畫面風(fēng)格的目標(biāo)圖像集；基于目標(biāo)圖像集及相應(yīng)的分類標(biāo)注信息對(duì)預(yù)設(shè)分類神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練后的分類神經(jīng)網(wǎng)絡(luò)；基于訓(xùn)練后的分類神經(jīng)網(wǎng)絡(luò)對(duì)待處理圖像進(jìn)行處理。本方案通過對(duì)帶有標(biāo)注的圖像集進(jìn)行風(fēng)格轉(zhuǎn)換，以快速高效獲取大量有標(biāo)注的指定風(fēng)格的分類數(shù)據(jù)集用于訓(xùn)練分類神經(jīng)網(wǎng)絡(luò)，使分類神經(jīng)網(wǎng)絡(luò)具備智能對(duì)該指定畫面風(fēng)格圖像進(jìn)行分類處理的能力，提升了神經(jīng)網(wǎng)絡(luò)的分類效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及信息處理技術(shù)領(lǐng)域，具體涉及一種圖像處理方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備。

背景技術(shù)

近年來基于深度神經(jīng)網(wǎng)絡(luò)的圖像分類和特征提取方法取得了很多成果。ImageNet、Open Image Dataset等集推動(dòng)基于深度神經(jīng)網(wǎng)絡(luò)的圖像分類取得了巨大進(jìn)步。

研究發(fā)現(xiàn)，基于ImageNet訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)主要基于圖像的紋理進(jìn)行推斷，然而也會(huì)出現(xiàn)誤判的情況。例如，若用線條畫出貓的形狀、用大象的皮膚材質(zhì)進(jìn)行填充，則該深度神經(jīng)網(wǎng)絡(luò)會(huì)將圖像識(shí)別為大象。可知，當(dāng)前發(fā)展的面向真實(shí)場(chǎng)景的深度神經(jīng)分類網(wǎng)絡(luò)并不通用。尤其是對(duì)于動(dòng)漫場(chǎng)景而言，相同物體在不同動(dòng)漫中的表現(xiàn)風(fēng)格存在巨大差異，導(dǎo)致所獲取的特征質(zhì)量較差，特征用于檢索和視頻、圖片理解效果不佳。而傳統(tǒng)特征提取方法(如SIFT、RANSAC)無法準(zhǔn)確表示動(dòng)漫圖片，導(dǎo)致動(dòng)漫場(chǎng)景下的圖像分類效果較差。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種圖像處理方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備，可快速高效地訓(xùn)練分類神經(jīng)網(wǎng)絡(luò)，提升神經(jīng)網(wǎng)絡(luò)的分類效果。

本申請(qǐng)實(shí)施例提供了一種圖像處理方法，包括：

獲取第一樣本圖像集，所述第一樣本圖像集包括多個(gè)帶有分類標(biāo)注信息的第一樣本圖像；

對(duì)所述第一樣本圖像進(jìn)行畫面風(fēng)格轉(zhuǎn)換處理，得到指定畫面風(fēng)格的目標(biāo)圖像集；

基于所述目標(biāo)圖像集及相應(yīng)的分類標(biāo)注信息對(duì)預(yù)設(shè)分類神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練后的分類神經(jīng)網(wǎng)絡(luò)；

基于訓(xùn)練后的分類神經(jīng)網(wǎng)絡(luò)對(duì)待處理圖像進(jìn)行處理。

相應(yīng)的，本申請(qǐng)實(shí)施例還提供了一種圖像處理裝置，包括：

第一獲取單元，用于獲取第一樣本圖像集，所述第一樣本圖像集包括多個(gè)帶有分類標(biāo)注信息的第一樣本圖像；

轉(zhuǎn)換單元，用于處理單元，用于對(duì)所述第一樣本圖像進(jìn)行畫面風(fēng)格轉(zhuǎn)換處理，得到指定畫面風(fēng)格的目標(biāo)圖像集；

訓(xùn)練單元，用于基于所述目標(biāo)圖像集及相應(yīng)的分類標(biāo)注信息對(duì)預(yù)設(shè)分類神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練后的分類神經(jīng)網(wǎng)絡(luò)；

處理單元，用于基于訓(xùn)練后的分類神經(jīng)網(wǎng)絡(luò)對(duì)待處理圖像進(jìn)行處理。

在一實(shí)施例中，還包括：

第二獲取單元，用于獲取第一樣本圖像集，獲取不同畫面風(fēng)格的第二樣本圖像，得到第二樣本圖像集；

第三獲取單元，用于基于所述第二樣本圖像集對(duì)預(yù)設(shè)的風(fēng)格遷移網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲取不同風(fēng)格的風(fēng)格矩陣；

所述轉(zhuǎn)換單元用于：

利用所述風(fēng)格遷移網(wǎng)絡(luò)，從不同風(fēng)格的風(fēng)格矩陣中選取目標(biāo)風(fēng)格矩陣對(duì)所述第一樣本圖像進(jìn)行畫面風(fēng)格轉(zhuǎn)換處理，得到指定風(fēng)格的目標(biāo)圖像集。

在一實(shí)施例中，在從不同風(fēng)格的風(fēng)格矩陣中選取目標(biāo)風(fēng)格矩陣對(duì)所述第一樣本圖像進(jìn)行畫面風(fēng)格轉(zhuǎn)換處理時(shí)，所述轉(zhuǎn)換單元用于：

對(duì)所述第一樣本圖像提取內(nèi)容特征；