[發明專利]圖像處理方法、遷移模型訓練方法、裝置、介質及設備

有效

• 申請號: 202010628687.9
• 申請日: 2020-07-01
• 公開（公告）號: CN111784565B
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 朱淵略;王一同
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 賈會玲

本公開涉及一種圖像處理方法、遷移模型訓練方法、裝置、介質及設備。方法包括：獲取待處理圖像和具有目標圖像風格目標圖像；將二者輸入至圖像風格遷移模型中，以通過該模型按照目標圖像風格對待處理圖像進行風格遷移；模型為包括生成器和判別器的生成式對抗網絡模型，判別器包括第一網絡層和與多種圖像風格一一對應的多個第二網絡層，在模型訓練階段，生成器對樣本圖像進行風格遷移得到合成圖像，第一網絡層提取參考圖像的第一特征信息、合成圖像的第三特征信息，并輸入至相應目標第二網絡層，目標第二網絡層從第一特征信息、第三特征信息中提取相應特征信息。由此，可提升模型生成的圖像質量，使得生成的圖像更加逼真，且節省人力、效率高。

技術領域

本公開涉及圖像處理領域，具體地，涉及一種圖像處理方法、遷移模型訓練方法、裝置、介質及設備。

背景技術

圖像處理是一種具有巨大的社會和經濟效益的實用技術，被廣泛應用于各行各業以及人們日常生活中。圖像處理中最常見的一個需求是改變圖像風格(即風格遷移)，其目標是保持待處理圖像的內容信息(例如，人臉、動物等)同時將一張圖像的圖像風格遷移至該待處理圖像中。例如，將真人頭像變成具有動漫風格的頭像(即動漫頭像)。其中，如何使得風格遷移后的圖像更加逼真是圖像風格遷移的研究重點。

發明內容

提供該發明內容部分以便以簡要的形式介紹構思，這些構思將在后面的具體實施方式部分被詳細描述。該發明內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。

第一方面，本公開提供一種圖像處理方法，包括：獲取待處理圖像和目標圖像，其中，所述目標圖像具有目標圖像風格；將所述待處理圖像和所述目標圖像輸入至圖像風格遷移模型中，以通過所述圖像風格遷移模型按照所述目標圖像風格對所述待處理圖像進行風格遷移處理；其中，所述圖像風格遷移模型為包括生成器和判別器的生成式對抗網絡模型，所述判別器包括第一網絡層和與多種圖像風格一一對應的多個第二網絡層，其中，在模型訓練階段，所述生成器用于按照參考圖像的圖像風格對樣本圖像進行風格遷移處理，得到合成圖像，所述第一網絡層用于提取所述參考圖像的第一特征信息，并將所述第一特征信息輸入至與所述參考圖像的圖像風格對應的目標第二網絡層，所述目標第二網絡層用于從所述第一特征信息中提取所述參考圖像在所述目標第二網絡層對應的圖像風格下的第二特征信息；所述第一網絡層還用于提取所述合成圖像的第三特征信息，并將所述第三特征信息輸入至所述目標第二網絡層，所述目標第二網絡層還用于從所述第三特征信息中提取所述合成圖像在所述目標第二網絡層對應的圖像風格下的第四特征信息；其中，所述第二特征信息和所述第四特征信息用于對所述判別器進行模型參數更新，所述第四特征信息用于對所述生成器進行模型參數更新。

第二方面，提供一種圖像風格遷移模型的訓練方法，所述圖像風格遷移模型為包括生成器和判別器的生成式對抗網絡模型，所述判別器包括第一網絡層和與多種圖像風格一一對應的多個第二網絡層；所述方法包括：獲取樣本圖像和參考圖像，其中，所述參考圖像的圖像風格為所述多種圖像風格中的一種；將所述參考圖像輸入至所述第一網絡層，以由所述第一網絡層提取所述參考圖像的第一特征信息，并將所述第一特征信息輸入至與所述參考圖像的圖像風格對應的目標第二網絡層；所述目標第二網絡層從所述第一特征信息中提取所述參考圖像在所述目標第二網絡層對應的圖像風格下的第二特征信息；將所述樣本圖像和所述參考圖像輸入至所述生成器，以由所述生成器按照所述參考圖像的圖像風格對所述樣本圖像進行風格遷移處理，得到合成圖像，并將所述合成圖像輸入至所述第一網絡層；所述第一網絡層提取所述合成圖像的第三特征信息，并將所述第三特征信息輸入至所述目標第二網絡層；所述目標第二網絡層從所述第三特征信息中提取所述合成圖像在所述目標第二網絡層對應的圖像風格下的第四特征信息；利用所述第四特征信息，對所述生成器進行模型參數更新；以及利用所述第二特征信息和所述第四特征信息，對所述判別器進行模型參數更新。