[發明專利]圖像處理方法、遷移模型訓練方法、裝置、介質及設備

有效

• 申請號: 202010628695.3
• 申請日: 2020-07-01
• 公開（公告）號: CN111784566B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 王一同;朱淵略
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40;G06T7/90;G06N3/04;G06N3/08
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 賈會玲

1.一種圖像處理方法，其特征在于，包括：

獲取待處理圖像、第一目標圖像和第二目標圖像，其中，所述第一目標圖像具有第一圖像風格，所述第二目標圖像具有第二圖像風格，所述第一圖像風格包括第一顏色風格和第一形狀風格，所述第二圖像風格包括第二顏色風格和第二形狀風格；

將所述待處理圖像、所述第一目標圖像和所述第二目標圖像輸入至圖像風格遷移模型中，以通過所述圖像風格遷移模型按照目標顏色風格和目標形狀風格，對所述待處理圖像進行風格遷移處理，其中，所述目標顏色風格為所述第一顏色風格，而所述目標形狀風格是根據所述第一形狀風格和所述第二形狀風格確定的，或者，所述目標顏色風格是根據所述第一顏色風格和所述第二顏色風格確定的，而所述目標形狀風格為所述第一形狀風格；

所述圖像風格遷移模型為包括生成器和判別器的生成式對抗網絡模型，所述判別器包括第一網絡層和與多種圖像風格一一對應的多個第二網絡層，其中，在模型訓練階段，所述生成器用于按照參考圖像的圖像風格對樣本圖像進行風格遷移處理，得到合成圖像，所述第一網絡層用于提取所述參考圖像的第一特征信息，并將所述第一特征信息輸入至與所述參考圖像的圖像風格對應的目標第二網絡層，所述目標第二網絡層用于從所述第一特征信息中提取所述參考圖像在所述目標第二網絡層對應的圖像風格下的第二特征信息；所述第一網絡層還用于提取所述合成圖像的第三特征信息，并將所述第三特征信息輸入至所述目標第二網絡層，所述目標第二網絡層還用于從所述第三特征信息中提取所述合成圖像在所述目標第二網絡層對應的圖像風格下的第四特征信息；

其中，在模型訓練階段，利用所述第四特征信息對所述合成圖像進行真假判定，并根據所述合成圖像的真假判定結果和生成器損失函數，對所述生成器進行模型參數更新；利用所述第二特征信息對所述參考圖像進行真假判定，并根據所述參考圖像的真假判定結果、所述合成圖像的真假判定結果和判別器損失函數，對所述判別器進行模型參數更新。

2.根據權利要求1所述的方法，其特征在于，所述生成器包括第一編碼網絡、第二編碼網絡以及解碼網絡；

所述圖像風格遷移模型按照目標顏色風格和目標形狀風格，對所述待處理圖像進行風格遷移處理，包括：

所述第一編碼網絡對所述待處理圖像進行編碼，得到編碼特征圖；

所述第二編碼網絡對所述第一目標圖像進行編碼，得到與所述第一顏色風格對應的第一顏色特征參數值和與所述第一形狀風格對應的第一形狀特征參數值；

所述第二編碼網絡對所述第二目標圖像進行編碼，得到與所述第二顏色風格對應的第二顏色特征參數值和與所述第二形狀風格對應的第二形狀特征參數值；

所述解碼網絡根據所述編碼特征圖、與所述目標顏色風格對應的目標顏色特征參數值以及與所述目標形狀風格對應的目標形狀特征參數值，生成目標圖像；

其中，所述目標形狀特征參數值為所述第一顏色特征參數值，而所述目標形狀特征參數值是根據所述第一形狀特征參數值和所述第二形狀特征參數值確定的；或者，所述目標顏色特征參數值是根據所述第一顏色特征參數值和所述第二顏色特征參數值確定的，而所述目標形狀特征參數值為所述第一形狀特征參數值。

3.根據權利要求1所述的方法，其特征在于，所述生成器損失函數包括對抗損失、第一特征匹配損失、第二特征匹配損失以及重構損失；

其中，所述第一特征匹配損失是根據所述第一網絡層的各池化層提取的特征信息確定的；所述第二特征匹配損失是根據所述目標第二網絡層的池化層提取的特征信息確定的。

4.根據權利要求1或3所述的方法，其特征在于，所述生成器包括第一編碼網絡、第二編碼網絡以及解碼網絡；

所述第一編碼網絡用于對所述樣本圖像進行編碼，得到第一特征圖；

所述第二編碼網絡用于對所述參考圖像進行編碼，得到風格特征信息，其中，所述風格特征信息包括參考顏色特征參數值和參考形狀特征參數值；

所述解碼網絡用于根據所述第一特征圖和所述風格特征信息，生成所述合成圖像。