[發(fā)明專利]一種圖像風(fēng)格轉(zhuǎn)換及模型訓(xùn)練的方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010907304.1
• 申請(qǐng)日: 2020-09-02
• 公開（公告）號(hào): CN111815509B
• 公開（公告）日: 2021-01-01
• 發(fā)明（設(shè)計(jì)）人: 傅慧源;馬華東;余艇;張宇
• 申請(qǐng)（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號(hào): G06T3/00
• 分類號(hào): G06T3/00;G06T9/00;G06T7/11
• 代理公司: 北京風(fēng)雅頌專利代理有限公司 11403
• 代理人: 李翔

本發(fā)明公開了一種圖像風(fēng)格轉(zhuǎn)換及模型訓(xùn)練的方法及裝置，所述方法包括：將第一、二風(fēng)格的圖像，分別輸入到編碼器網(wǎng)絡(luò)中的內(nèi)容、風(fēng)格編碼器，分別提取出內(nèi)容、風(fēng)格編碼特征圖像；將所述風(fēng)格、內(nèi)容編碼特征圖像分別輸入到解碼器網(wǎng)絡(luò)中，得到從第一風(fēng)格轉(zhuǎn)換到第二風(fēng)格的目標(biāo)圖像；其中，由所述編、解碼器網(wǎng)絡(luò)組成的圖像風(fēng)格轉(zhuǎn)換模型，是通過(guò)包括多個(gè)第一、二風(fēng)格的圖像的圖像訓(xùn)練樣本以及從圖像訓(xùn)練樣本中裁剪的實(shí)例圖像預(yù)先訓(xùn)練得到的。應(yīng)用本發(fā)明可以提高對(duì)多種不同場(chǎng)景下的風(fēng)格轉(zhuǎn)換適應(yīng)性，并改善風(fēng)格轉(zhuǎn)換后圖像模糊和圖像中的實(shí)例效果差的問(wèn)題，同時(shí)做到粗粒度和細(xì)粒度的高質(zhì)量圖像風(fēng)格遷移。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是指一種圖像風(fēng)格轉(zhuǎn)換及模型訓(xùn)練的方法及裝置。

背景技術(shù)

圖像風(fēng)格轉(zhuǎn)換是圖像處理領(lǐng)域的重要內(nèi)容。隨著社會(huì)經(jīng)濟(jì)的發(fā)展，對(duì)音視頻的處理有越來(lái)越多的需求，尤其集中在人臉編輯/生成、圖像增強(qiáng)、圖像風(fēng)格轉(zhuǎn)換，應(yīng)用相關(guān)技術(shù)的app/相機(jī)很容易受到人們的關(guān)注，創(chuàng)造經(jīng)濟(jì)和社會(huì)價(jià)值。使用圖像風(fēng)格轉(zhuǎn)換技術(shù)來(lái)對(duì)圖像進(jìn)行增強(qiáng)，可對(duì)夜間圖像進(jìn)行增強(qiáng)處理可以得到信息更為清晰的圖像，從而大大提高圖像可視度，這對(duì)于視頻監(jiān)控具有重大意義。隨著數(shù)字圖像處理、模式識(shí)別和深度學(xué)習(xí)技術(shù)的日益發(fā)展和完善，圖像風(fēng)格轉(zhuǎn)換方法也在不斷發(fā)展。

基于傳統(tǒng)圖像處理技術(shù)的圖像風(fēng)格方法直接對(duì)圖像本身進(jìn)行處理，沒(méi)有對(duì)圖像的高級(jí)特征加以利用，對(duì)新場(chǎng)景的適應(yīng)性差。在現(xiàn)有技術(shù)中，基于生成對(duì)抗網(wǎng)絡(luò)的圖像風(fēng)格遷移技術(shù)應(yīng)用更為廣泛，但仍然存在風(fēng)格轉(zhuǎn)換后圖像模糊，圖像中的實(shí)例比如車、人等風(fēng)格轉(zhuǎn)換效果較差，獲取成對(duì)的不同風(fēng)格圖像數(shù)據(jù)困難等諸多技術(shù)問(wèn)題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提出一種圖像風(fēng)格轉(zhuǎn)換及模型訓(xùn)練的方法及裝置，以提高對(duì)多種不同場(chǎng)景下的圖像風(fēng)格轉(zhuǎn)換適應(yīng)性，并改善風(fēng)格轉(zhuǎn)換后圖像模糊和圖像中的實(shí)例效果差的問(wèn)題，同時(shí)做到粗粒度和細(xì)粒度的高質(zhì)量圖像風(fēng)格遷移。

基于上述目的，本發(fā)明提供一種圖像風(fēng)格轉(zhuǎn)換的方法，包括：

將待風(fēng)格轉(zhuǎn)換的第一風(fēng)格的圖像和作為參考圖像的第二風(fēng)格的圖像，分別輸入到編碼器網(wǎng)絡(luò)中的內(nèi)容、風(fēng)格編碼器，分別提取出內(nèi)容、風(fēng)格編碼特征圖像；

將所述風(fēng)格、內(nèi)容編碼特征圖像分別輸入到解碼器網(wǎng)絡(luò)中的多層感知機(jī)模塊和殘差卷積模塊，分別進(jìn)行感知機(jī)運(yùn)算和殘差卷積運(yùn)算，分別得到自適應(yīng)實(shí)例歸一化模塊的參數(shù)和中間過(guò)程特征圖像；并將得到的參數(shù)共享到所述解碼器網(wǎng)絡(luò)的自適應(yīng)實(shí)例歸一化模塊；

將所述中間過(guò)程特征圖像輸入到所述自適應(yīng)實(shí)例歸一化模塊進(jìn)行實(shí)例歸一化，將實(shí)例歸一化的特征圖像輸入到所述解碼器網(wǎng)絡(luò)的上采樣層中，得到從第一風(fēng)格轉(zhuǎn)換到第二風(fēng)格的目標(biāo)圖像；

其中，由所述編、解碼器網(wǎng)絡(luò)組成的圖像風(fēng)格轉(zhuǎn)換模型，是通過(guò)包括多個(gè)第一、二風(fēng)格的圖像的圖像訓(xùn)練樣本以及從圖像訓(xùn)練樣本中裁剪的實(shí)例圖像預(yù)先訓(xùn)練得到的。

較佳地，所述圖像風(fēng)格轉(zhuǎn)換模型具體根據(jù)如下方法預(yù)先訓(xùn)練得到：

構(gòu)建圖像生成模型；其中，所述圖像生成模型中包括：全局風(fēng)格遷移模型和局部風(fēng)格遷移模型；其中，所述全局風(fēng)格遷移模型中包括：全局的編碼器網(wǎng)絡(luò)、解碼器網(wǎng)絡(luò)；所述局部風(fēng)格遷移模型中包括：局部的編碼器、解碼器網(wǎng)絡(luò)；

對(duì)圖像生成模型進(jìn)行多次迭代訓(xùn)練，在迭代訓(xùn)練次數(shù)達(dá)到第一預(yù)設(shè)次數(shù)后，將全局風(fēng)格遷移模型作為訓(xùn)練得到的圖像風(fēng)格轉(zhuǎn)換模型；

其中，一次迭代訓(xùn)練過(guò)程包括：

將所述圖像訓(xùn)練樣本中的第一、二風(fēng)格的圖像輸入到所述全局風(fēng)格遷移模型，經(jīng)過(guò)所述全局的編碼器網(wǎng)絡(luò)、解碼器網(wǎng)絡(luò)的兩次解耦內(nèi)容特征和風(fēng)格特征、解碼內(nèi)容特征和風(fēng)格特征得到重建的第一、二風(fēng)格的圖像；