[發(fā)明專利]圖像處理方法、遷移模型訓(xùn)練方法、裝置、介質(zhì)及設(shè)備

有效

• 申請?zhí)枺?/td>: 202010628687.9
• 申請日: 2020-07-01
• 公開（公告）號: CN111784565B
• 公開（公告）日: 2021-10-29
• 發(fā)明（設(shè)計(jì)）人: 朱淵略;王一同
• 申請（專利權(quán)）人: 北京字節(jié)跳動(dòng)網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京英創(chuàng)嘉友知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 賈會(huì)玲

1.一種圖像處理方法，其特征在于，包括：

獲取待處理圖像和目標(biāo)圖像，其中，所述目標(biāo)圖像具有目標(biāo)圖像風(fēng)格；

將所述待處理圖像和所述目標(biāo)圖像輸入至圖像風(fēng)格遷移模型中，以通過所述圖像風(fēng)格遷移模型按照所述目標(biāo)圖像風(fēng)格對所述待處理圖像進(jìn)行風(fēng)格遷移處理；

其中，所述圖像風(fēng)格遷移模型為包括生成器和判別器的生成式對抗網(wǎng)絡(luò)模型，所述判別器包括第一網(wǎng)絡(luò)層和與多種圖像風(fēng)格一一對應(yīng)的多個(gè)第二網(wǎng)絡(luò)層，其中，在模型訓(xùn)練階段，所述生成器用于按照參考圖像的圖像風(fēng)格對樣本圖像進(jìn)行風(fēng)格遷移處理，得到合成圖像，所述第一網(wǎng)絡(luò)層用于提取所述參考圖像的第一特征信息，并將所述第一特征信息輸入至與所述參考圖像的圖像風(fēng)格對應(yīng)的目標(biāo)第二網(wǎng)絡(luò)層，所述目標(biāo)第二網(wǎng)絡(luò)層用于從所述第一特征信息中提取所述參考圖像在所述目標(biāo)第二網(wǎng)絡(luò)層對應(yīng)的圖像風(fēng)格下的第二特征信息；所述第一網(wǎng)絡(luò)層還用于提取所述合成圖像的第三特征信息，并將所述第三特征信息輸入至所述目標(biāo)第二網(wǎng)絡(luò)層，所述目標(biāo)第二網(wǎng)絡(luò)層還用于從所述第三特征信息中提取所述合成圖像在所述目標(biāo)第二網(wǎng)絡(luò)層對應(yīng)的圖像風(fēng)格下的第四特征信息；

其中，在模型訓(xùn)練階段，利用所述第四特征信息對所述合成圖像進(jìn)行真假判定，并根據(jù)所述合成圖像的真假判定結(jié)果和生成器損失函數(shù)，對所述生成器進(jìn)行模型參數(shù)更新；

利用所述第二特征信息對所述參考圖像進(jìn)行真假判定，并根據(jù)所述參考圖像的真假判定結(jié)果、所述合成圖像的真假判定結(jié)果和判別器損失函數(shù)，對所述判別器進(jìn)行模型參數(shù)更新。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述生成器損失函數(shù)包括對抗損失、第一特征匹配損失、第二特征匹配損失以及重構(gòu)損失；

其中，所述第一特征匹配損失是根據(jù)所述第一網(wǎng)絡(luò)層的各池化層提取的特征信息確定的；所述第二特征匹配損失是根據(jù)所述目標(biāo)第二網(wǎng)絡(luò)層的池化層提取的特征信息確定的。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述生成器包括第一編碼網(wǎng)絡(luò)、第二編碼網(wǎng)絡(luò)以及解碼網(wǎng)絡(luò)；

所述第一編碼網(wǎng)絡(luò)用于對所述樣本圖像進(jìn)行編碼，得到第一特征圖；

所述第二編碼網(wǎng)絡(luò)用于對所述參考圖像進(jìn)行編碼，得到風(fēng)格特征信息；

所述解碼網(wǎng)絡(luò)用于根據(jù)所述第一特征圖和所述風(fēng)格特征信息，生成所述合成圖像。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述解碼網(wǎng)絡(luò)包括第一融合模塊、處理模塊以及連接在所述第一融合模塊與所述處理模塊之間的至少一個(gè)第二融合模塊，當(dāng)所述第二融合模塊的數(shù)量為多個(gè)時(shí)，多個(gè)所述第二融合模塊為串聯(lián)；

所述第一融合模塊用于將所述風(fēng)格特征信息與所述第一特征圖進(jìn)行融合，得到第二特征圖，并將所述第二特征圖輸入至與所述第一融合模塊連接的所述第二融合模塊；

每一所述第二融合模塊分別用于對來自前一模塊的特征圖進(jìn)行上采樣，并將所述風(fēng)格特征信息與上采樣后得到的特征圖進(jìn)行融合，得到第三特征圖，并向下一模塊輸入所述第三特征圖；

所述處理模塊用于將從與所述處理模塊連接的所述第二融合模塊輸入的所述第三特征圖的圖像尺寸調(diào)整為目標(biāo)尺寸，得到所述合成圖像，其中，所述目標(biāo)尺寸為所述樣本圖像的尺寸。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述第一融合模塊包括至少一個(gè)融合子模塊，每一所述融合子模塊包括串聯(lián)的第一卷積層和第一歸一化層，當(dāng)所述融合子模塊數(shù)量為多個(gè)時(shí)，多個(gè)所述融合子模塊為串聯(lián)；

所述第一編碼網(wǎng)絡(luò)還用于將所述第一特征圖輸入至與所述第一編碼網(wǎng)絡(luò)連接的第一卷積層；

每一所述第一卷積層分別用于對輸入所述第一卷積層的特征圖進(jìn)行特征提取，并將提取到的特征圖輸入至所述第一卷積層所屬的融合子模塊中的所述第一歸一化層；

每一所述第一歸一化層分別用于對來自所述第一歸一化層所屬的融合子模塊中的第一卷積層的特征圖進(jìn)行歸一化，將所述風(fēng)格特征信息和歸一化所得的特征圖進(jìn)行融合，并輸出融合得到的特征圖，其中，所述第二特征圖為與所述第二融合模塊連接的所述第一歸一化層輸出的融合得到的特征圖。