[發(fā)明專利]圖像處理方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210442061.8
• 申請(qǐng)日: 2022-04-25
• 公開(kāi)（公告）號(hào): CN115953597A
• 公開(kāi)（公告）日: 2023-04-11
• 發(fā)明（設(shè)計(jì)）人: 丁飛;劉瑋
• 申請(qǐng)（專利權(quán)）人: 北京字跳網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G06V10/56
• 分類號(hào): G06V10/56;G06V10/80;G06T7/90;G06T11/00
• 代理公司: 北京開(kāi)陽(yáng)星知識(shí)產(chǎn)權(quán)代理有限公司 11710
• 代理人: 王艷斌

1.一種圖像處理方法，其特征在于，包括：

獲取線稿圖；

獲取對(duì)所述線稿圖中的目標(biāo)部位進(jìn)行上色的目標(biāo)顏色；

提取所述線稿圖的線稿圖特征；

提取所述目標(biāo)顏色的目標(biāo)顏色特征；

將所述目標(biāo)顏色特征與所述線稿圖特征進(jìn)行特征融合，以生成融合后的線稿圖特征；

基于所述融合后的線稿圖特征，生成所述線稿圖的上色圖像，其中，所述上色圖像中的所述目標(biāo)部位的顏色與所述目標(biāo)顏色一致。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取對(duì)所述線稿圖中的目標(biāo)部位進(jìn)行上色的目標(biāo)顏色，包括：

獲取用戶確定的所述目標(biāo)部位；

獲取所述用戶確定的用于對(duì)所述目標(biāo)部位進(jìn)行上色的目標(biāo)顏色。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取所述目標(biāo)顏色的目標(biāo)顏色特征，包括：

根據(jù)所述線稿圖特征的特征維度對(duì)所述目標(biāo)顏色進(jìn)行編碼，以獲取與所述線稿圖特征的特征維度一致的目標(biāo)顏色特征。

4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其特征在于，所述特征融合由用于基于參考顏色對(duì)線稿圖進(jìn)行上色的模型執(zhí)行。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，還包括：

訓(xùn)練所述用于基于參考顏色對(duì)線稿圖進(jìn)行上色的模型。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述訓(xùn)練用于基于參考顏色對(duì)線稿圖進(jìn)行上色的模型，包括：

獲取與樣本圖像對(duì)應(yīng)的樣本線稿圖；

提取所述樣本線稿圖的樣本線稿圖特征；

對(duì)所述樣本圖像進(jìn)行語(yǔ)義分割處理，以獲取樣本部位；

對(duì)所述樣本部位的所有像素進(jìn)行平均，以獲取樣本顏色；

提取所述樣本顏色的樣本顏色特征；

將所述樣本顏色特征與所述線稿圖特征進(jìn)行特征混合，以生成融合后的樣本線稿圖特征；

對(duì)所述融合后的樣本線稿圖特征進(jìn)行解碼，以生成所述樣本線稿圖的樣本上色圖像；

根據(jù)所述樣本線稿圖、所述樣本圖像和所述樣本上色圖像來(lái)訓(xùn)練所述模型的參數(shù)。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)所述樣本線稿圖、所述樣本圖像和所述樣本上色圖像來(lái)訓(xùn)練所述模型的參數(shù)，包括：

根據(jù)所述樣本上色圖像和所述樣本圖像生成目標(biāo)損失函數(shù)；以及

基于所述樣本線稿圖、所述樣本圖像和所述樣本上色圖像，根據(jù)所述目標(biāo)損失函數(shù)的反向傳播，訓(xùn)練所述模型的參數(shù)。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述根據(jù)所述樣本上色圖像和所述樣本圖像生成目標(biāo)損失函數(shù)，包括：

計(jì)算所述樣本上色圖像中每個(gè)像素值和所述樣本圖像中每個(gè)像素值之間的平均絕對(duì)誤差，獲取重建損失函數(shù)；和/或，

計(jì)算所述樣本上色圖像中每個(gè)像素值和所述樣本圖像中每個(gè)像素值之間的均方誤差，獲取風(fēng)格損失函數(shù)；和/或，

根據(jù)預(yù)設(shè)的判別器模型對(duì)所述樣本上色圖像和所述樣本圖像進(jìn)行分類，獲取對(duì)抗損失函數(shù)。

9.根據(jù)權(quán)利要求1-8中任一項(xiàng)所述的方法，其特征在于，所述目標(biāo)部位包括：頭發(fā)、眼睛、嘴巴、面部、脖子和/或衣服。

10.一種圖像處理裝置，其特征在于，包括：

第一獲取模塊，用于獲取線稿圖；

第二獲取模塊，用于獲取對(duì)所述線稿圖中的目標(biāo)部位進(jìn)行上色的目標(biāo)顏色；

第一提取模塊，用于提取所述線稿圖的線稿圖特征；

第二提取模塊，用于提取所述目標(biāo)顏色的目標(biāo)顏色特征；

融合模塊，用于將所述目標(biāo)顏色特征與所述線稿圖特征進(jìn)行特征融合，以生成融合后的線稿圖特征；

生成模塊，用于基于所述融合后的線稿圖特征，生成所述線稿圖的上色圖像，其中，所述上色圖像中的所述目標(biāo)部位的顏色與所述目標(biāo)顏色一致。