[發明專利]動漫圖像生成方法、裝置、電子設備及存儲介質

有效

• 申請號: 201911285100.2
• 申請日: 2019-12-13
• 公開（公告）號: CN111080512B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 李鵬;裴崢;柯聰梁;陳藝勇;肖夢;李晉瑞;張偉;王堃;曾思達
• 申請（專利權）人: 咪咕動漫有限公司;咪咕文化科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T7/13
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王宇楊

本發明實施例提供一種動漫圖像生成方法、裝置、電子設備及存儲介質；方法包括：獲取待轉換的涂鴉作品，根據所述待轉換的涂鴉作品生成所述待轉換的涂鴉作品的特征圖；將所述待轉換的涂鴉作品的特征圖輸入動漫圖像生成模型，生成由所述待轉換的涂鴉作品轉換而來的動漫圖像。本發明實施例提供的動漫圖像生成方法、裝置、電子設備及存儲介質，通過提取涂鴉作品的邊緣輪廓圖，并輸入動漫圖像生成模型，實現了與涂鴉作品對應的動漫圖像的自動生成，能極大降低動漫制作人員的工作量，提升動漫圖像的繪制效率。

技術領域

本發明涉及圖像處理領域，尤其涉及一種動漫圖像生成方法、裝置、電子設備及存儲介質。

背景技術

隨著科學技術的不斷發展，動漫逐漸成為了用戶日常消遣娛樂的主要方式這一。動漫在制作過程中需要繪制大量的動漫圖像。目前對動漫圖像的繪制主要依賴于人工實現。雖然制作人員已經通過電腦等輔助工具提高了動漫圖像的繪制效率，但仍然離不開人的深度參與，動漫圖像的繪制依然是一個需要花費大量人力成本和時間的工作。

動漫領域中的涂鴉是在動漫草圖的基礎上進行上色所形成的作品。與動漫圖像相比，涂鴉作品在線條的精細程度與顏色的豐富程度上都有一定的差距。涂鴉作品一般是動漫制作者在對作品內容起草稿大綱的時候所繪制的。

在現有技術中，為了可以更高效地生成動漫圖像，現有技術人員利用深度學習技術，采用生成式對抗網絡(Generative?Adversarial?Network，GAN)在圖像應用方面進行了許多嘗試，現有GAN在不同的限制條件下發展了多種版本。有針對數據集不成對的CycleGAN，該版本同時訓練兩個鏡像對稱GAN構成一個環形網絡，可以不需要提供成對數據集；有針對手繪卡通轉換的CartoonGAN，該版本對現實世界照片和漫畫圖像建立映射，可以將自然圖片轉換成高質量的風格化漫畫；有將簡單涂鴉轉換為逼真的自然照片的GauGAN；有自動補全、修復圖像缺失部分的GAN等，都取得了良好的效果。

GAN在動漫圖像的應用上，目前主要有動漫風格轉換，動漫自動上色，二次元頭像生成等。現有技術中尚不能將涂鴉作品涂鴉作品自動轉換成動漫圖像。

發明內容

本發明實施例提供一種動漫圖像生成方法、裝置、電子設備及存儲介質，用以解決現有技術中不能將帶有輪廓的涂鴉作品自動轉換成動漫圖像的缺陷。

本發明第一方面實施例提供了一種動漫圖像生成方法，包括：

獲取待轉換的涂鴉作品，根據所述待轉換的涂鴉作品生成所述待轉換的涂鴉作品的特征圖；

將所述待轉換的涂鴉作品的特征圖輸入動漫圖像生成模型，生成由所述待轉換的涂鴉作品轉換而來的動漫圖像；其中，

所述動漫圖像生成模型是基于涂鴉作品以及與所述涂鴉作品對應的動漫圖像，通過對生成式對抗網絡進行訓練得到的。

上述技術方案中，還包括：

采集多組動漫圖像和涂鴉作品；同一組中的動漫圖像和涂鴉作品具有對應關系；

根據所述多組動漫圖像和涂鴉作品，通過對生成式對抗網絡的訓練得到動漫圖像生成模型。

上述技術方案中，所述特征圖包括邊緣輪廓圖和/或顏色分布圖；其中，所述顏色分布圖是對圖像做中值濾波和平滑顏色域后得到的。

上述技術方案中，所述特征圖包括邊緣輪廓圖；相應地，所述根據所述多組動漫圖像和涂鴉作品，通過對生成式對抗網絡的訓練得到動漫圖像生成模型包括：

構建生成式對抗網絡，所述生成式對抗網絡包括生成器和判別器；

根據動漫圖像生成存在區域空缺的動漫圖像；

根據與所述動漫圖像對應的涂鴉作品生成涂鴉作品的邊緣輪廓圖；