[發明專利]一種漫畫手繪圖無監督上色方法及裝置

有效

• 申請號: 201710533652.5
• 申請日: 2017-07-03
• 公開（公告）號: CN107330956B
• 公開（公告）日: 2020-08-07
• 發明（設計）人: 劉怡俊;梁培俊
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06T11/40
• 分類號: G06T11/40
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本發明公開了一種漫畫手繪圖無監督上色方法及裝置，通過獲取多張動漫圖像，作為漫畫原圖像；提取漫畫原圖像的輪廓，生成漫畫手繪圖；將漫畫原圖像以及漫畫手繪圖拼接為一張圖像，作為訓練數據集中的訓練樣本；根據訓練數據集，基于條件生成式對抗網絡訓練得到無監督上色模型，條件生成式對抗網絡由包含的生成器模型以及判別器模型以對抗的方式進行優化訓練得到；采用訓練好的無監督上色模型對輸入的手繪圖像進行上色處理。本申請所提供的方法及裝置可以在無監督的情況下，對手繪圖像的上色模式進行學習，使用學習獲得的模型即可對輸入的手繪圖像進行自動上色處理，不僅無需人工干預，還能夠保持較好的視覺效果。

技術領域

本發明涉及圖像處理技術領域，特別是涉及一種漫畫手繪圖無監督上色方法及裝置。

背景技術

隨著漫畫和數字媒體產業的蓬勃發展，各種漫畫產品出現的速度也在逐步加快，人們對于漫畫產品的需求也不再只滿足于黑白的線條畫面上。但是由于一幅漫畫生成是由畫家從黑白手繪圖開始制作，然后經過一系列繁雜處理之后最后才是上色。這個過程中，無論是手繪還是上色，步驟都是十分耗時耗力。正是因為這種工作的具有時間和人力密集的性質，所以直到現在市面上很多的漫畫產品也只有封面或者前幾頁才是彩色畫面，并借此來吸引買家的注意力。因此，如果可以將上色這一過程無監督化，將會在時間和效率上帶來質的提高。

目前，一種對黑白漫畫手繪圖像進行上色處理的方法為：美工人員通過在專業圖像處理軟件如Photoshop、Maya環境下對手繪圖進行上色，這種處理雖然可以得到一種質量很高的上色效果，但這種方法需要美工人員在調色、描影等處理技術上有較高的要求，在時間和人力成本上的消耗較高，所以只能在工作量較小的情況下才較為合適。

另外還可以通過一些計算機技術，如深度學習技術對黑白灰度圖像進行上色。這種方法使用彩色圖像對應的灰度圖像作為訓練數據，生成一種人工神經網絡模型，然后利用這個生成的模型對灰度圖像進行上色。然而這種上色方法需要依賴于訓練數據圖像的灰度連續性來拓展作用區域，從而將圖像分割為彩色區域。然而，黑白的手繪圖并不像灰度圖像那樣有著連續的灰度用于分割，因此這種方法并不能有效正常地對手繪圖進行上色處理。

發明內容

本發明的目的是提供一種漫畫手繪圖無監督上色方法及裝置，以解決現有技術不能有效正常地對漫畫手繪圖進行上色處理的問題。

為解決上述技術問題，本發明提供一種漫畫手繪圖無監督上色方法，包括：

獲取多張動漫圖像，作為漫畫原圖像；

提取所述漫畫原圖像的輪廓，生成漫畫手繪圖；

將所述漫畫原圖像以及所述漫畫手繪圖拼接為一張圖像，作為訓練數據集中的訓練樣本；

根據所述訓練數據集，基于條件生成式對抗網絡訓練得到無監督上色模型，所述條件生成式對抗網絡由包含的生成器模型以及判別器模型以對抗的方式進行優化訓練得到；

采用訓練好的所述無監督上色模型對輸入的手繪圖像進行上色處理。

可選地，在所述提取所述漫畫原圖像的輪廓，生成漫畫手繪圖之前還包括：

將所述漫畫原圖像統一縮放為相同尺寸大小的圖像。

可選地，所述根據所述訓練數據集，基于條件生成式對抗網絡訓練得到無監督上色模型包括：

所述生成器模型根據輸入的條件信息黑白手繪圖以及隨機噪聲向量，生成彩色圖像；

所述識別器模型采用所述生成器模型生成的圖像以及所述漫畫原圖像進行訓練，從生成圖像中識別出真實圖像；

提取出訓練好的網絡模型參數，生成所述無監督上色模型。

可選地，所述根據所述訓練數據集，基于條件生成式對抗網絡訓練得到無監督上色模型包括：