[發明專利]圖像處理方法、裝置、電子設備及計算機可讀介質

有效

• 申請號: 202010157922.9
• 申請日: 2020-03-09
• 公開（公告）號: CN111369468B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 李華夏
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 張筱寧

1.一種圖像處理方法，其特征在于，包括：

獲取待處理圖像、預訓練的目標區域變色特效網絡以及所述目標區域變色特效網絡對應的第一待插值屬性，其中，所述預訓練包括針對包含目標區域的樣本圖像進行的訓練；

通過所述目標區域變色特效網絡，將所述待處理圖像進行下采樣，得到待處理圖像的下采樣結果，并根據所述第一待插值屬性，將下采樣結果進行上采樣插值，得到所述目標區域變色特效圖像；

其中，所述目標區域變色特效網絡是通過以下步驟訓練得到的：

獲取預構建的對抗生成網絡，所述對抗生成網絡包括生成網絡、第一判別網絡、第二判別網絡和第一分類網絡；

通過所述生成網絡，將每個包含所述目標區域的顏色信息的所述樣本圖像進行下采樣，得到相應的圖像特征，并將每個樣本圖像的圖像特征進行上采樣及變換目標顏色處理，得到對應的生成圖像；

確定所述每個樣本圖像對應所述目標區域的概率圖，并根據每個概率圖對相應的樣本圖像和對應的所述生成圖像進行混合，得到相應的混合圖像；

通過所述第一判別網絡，對所述每個樣本圖像的圖像特征的顏色真實性進行判別，得到相應的第一判別結果；

通過所述第二判別網絡，對所述每個樣本圖像和對應的所述混合圖像的真實性進行判別，得到相應的第二判別結果；

通過所述第一分類網絡，根據所述每個樣本圖像對應的所述生成圖像，得到所述目標顏色的分類結果；

基于所述每個樣本圖像對應的所述第一判別結果、所述第二判別結果、所述分類結果和所述生成圖像，對所述對抗生成網絡進行對抗訓練，并將訓練后的所述生成網絡確定為所述目標區域變色特效網絡。

2.根據權利要求1所述的圖像處理方法，其特征在于，所述確定所述每個樣本圖像對應所述目標區域的概率圖，包括以下任一種：

獲取所述每個概率圖，所述每個概率圖是通過預訓練的目標區域分割網絡對對應的樣本圖像進行圖像分割處理得到的；

所述對抗生成網絡還包括注意力網絡，通過所述注意力網絡對所述每個樣本圖像進行圖像分割處理，得到相應的概率圖。

3.根據權利要求1所述的圖像處理方法，其特征在于，所述根據每個概率圖對相應的樣本圖像和對應的所述生成圖像進行混合，包括：

基于所述每個概率圖中各個像素的概率值，將相應的樣本圖像和對應的所述生成圖像中相應像素的值進行混合。

4.根據權利要求1所述的圖像處理方法，其特征在于，所述將每個樣本圖像的圖像特征進行上采樣及變換目標顏色處理，包括：

根據預設的目標顏色的第二待插值屬性，對所述每個樣本圖像的所述圖像特征進行上采樣插值。

5.根據權利要求1所述的圖像處理方法，其特征在于，所述基于所述每個樣本圖像對應的所述第一判別結果、所述第二判別結果、所述分類結果和所述生成圖像，對所述對抗生成網絡進行對抗訓練，包括：

根據所述每個樣本圖像對應的所述第一判別結果來確定相應的圖像特征對應的真實顏色損失和虛假顏色損失；

根據所述每個樣本圖像對應的所述第二判別結果來確定相應的所述樣本圖像對應的真樣本損失、所述混合圖像對應的假樣本真實損失和所述混合圖像對應的假樣本虛假損失；

根據所述每個樣本圖像對應的所述分類結果來確定相應的目標顏色分類損失；

確定所述每個樣本圖像與對應的所述生成圖像之間的圖像損失；

根據所述每個樣本圖像對應的所述真實顏色損失、所述虛假顏色損失、所述真樣本損失、所述假樣本真實損失、所述假樣本虛假損失、所述目標顏色分類損失和所述圖像損失，對所述對抗生成網絡進行優化。

6.根據權利要求1所述的圖像處理方法，其特征在于，還包括：

獲取預訓練的第二分類網絡；

通過所述第二分類網絡，對圖像數據標注所述目標區域的顏色信息，得到所述每個包含目標區域的顏色信息的樣本圖像。