[發明專利]圖像處理方法、遷移模型訓練方法、裝置、介質及設備

有效

• 申請號: 202010628687.9
• 申請日: 2020-07-01
• 公開（公告）號: CN111784565B
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 朱淵略;王一同
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 賈會玲

1.一種圖像處理方法，其特征在于，包括：

獲取待處理圖像和目標圖像，其中，所述目標圖像具有目標圖像風格；

將所述待處理圖像和所述目標圖像輸入至圖像風格遷移模型中，以通過所述圖像風格遷移模型按照所述目標圖像風格對所述待處理圖像進行風格遷移處理；

其中，所述圖像風格遷移模型為包括生成器和判別器的生成式對抗網絡模型，所述判別器包括第一網絡層和與多種圖像風格一一對應的多個第二網絡層，其中，在模型訓練階段，所述生成器用于按照參考圖像的圖像風格對樣本圖像進行風格遷移處理，得到合成圖像，所述第一網絡層用于提取所述參考圖像的第一特征信息，并將所述第一特征信息輸入至與所述參考圖像的圖像風格對應的目標第二網絡層，所述目標第二網絡層用于從所述第一特征信息中提取所述參考圖像在所述目標第二網絡層對應的圖像風格下的第二特征信息；所述第一網絡層還用于提取所述合成圖像的第三特征信息，并將所述第三特征信息輸入至所述目標第二網絡層，所述目標第二網絡層還用于從所述第三特征信息中提取所述合成圖像在所述目標第二網絡層對應的圖像風格下的第四特征信息；

其中，在模型訓練階段，利用所述第四特征信息對所述合成圖像進行真假判定，并根據所述合成圖像的真假判定結果和生成器損失函數，對所述生成器進行模型參數更新；

利用所述第二特征信息對所述參考圖像進行真假判定，并根據所述參考圖像的真假判定結果、所述合成圖像的真假判定結果和判別器損失函數，對所述判別器進行模型參數更新。

2.根據權利要求1所述的方法，其特征在于，所述生成器損失函數包括對抗損失、第一特征匹配損失、第二特征匹配損失以及重構損失；

其中，所述第一特征匹配損失是根據所述第一網絡層的各池化層提取的特征信息確定的；所述第二特征匹配損失是根據所述目標第二網絡層的池化層提取的特征信息確定的。

3.根據權利要求1或2所述的方法，其特征在于，所述生成器包括第一編碼網絡、第二編碼網絡以及解碼網絡；

所述第一編碼網絡用于對所述樣本圖像進行編碼，得到第一特征圖；

所述第二編碼網絡用于對所述參考圖像進行編碼，得到風格特征信息；

所述解碼網絡用于根據所述第一特征圖和所述風格特征信息，生成所述合成圖像。

4.根據權利要求3所述的方法，其特征在于，所述解碼網絡包括第一融合模塊、處理模塊以及連接在所述第一融合模塊與所述處理模塊之間的至少一個第二融合模塊，當所述第二融合模塊的數量為多個時，多個所述第二融合模塊為串聯；

所述第一融合模塊用于將所述風格特征信息與所述第一特征圖進行融合，得到第二特征圖，并將所述第二特征圖輸入至與所述第一融合模塊連接的所述第二融合模塊；

每一所述第二融合模塊分別用于對來自前一模塊的特征圖進行上采樣，并將所述風格特征信息與上采樣后得到的特征圖進行融合，得到第三特征圖，并向下一模塊輸入所述第三特征圖；

所述處理模塊用于將從與所述處理模塊連接的所述第二融合模塊輸入的所述第三特征圖的圖像尺寸調整為目標尺寸，得到所述合成圖像，其中，所述目標尺寸為所述樣本圖像的尺寸。

5.根據權利要求4所述的方法，其特征在于，所述第一融合模塊包括至少一個融合子模塊，每一所述融合子模塊包括串聯的第一卷積層和第一歸一化層，當所述融合子模塊數量為多個時，多個所述融合子模塊為串聯；

所述第一編碼網絡還用于將所述第一特征圖輸入至與所述第一編碼網絡連接的第一卷積層；

每一所述第一卷積層分別用于對輸入所述第一卷積層的特征圖進行特征提取，并將提取到的特征圖輸入至所述第一卷積層所屬的融合子模塊中的所述第一歸一化層；

每一所述第一歸一化層分別用于對來自所述第一歸一化層所屬的融合子模塊中的第一卷積層的特征圖進行歸一化，將所述風格特征信息和歸一化所得的特征圖進行融合，并輸出融合得到的特征圖，其中，所述第二特征圖為與所述第二融合模塊連接的所述第一歸一化層輸出的融合得到的特征圖。