[發明專利]基于卷積神經與條件生成對抗性網絡的灰度圖像上色方法

有效

• 申請號: 202010427953.1
• 申請日: 2020-05-20
• 公開（公告）號: CN111627080B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 黎海生;廖明霞;魯健恒;黃飛燕;羅丹儀;全永樺;陳玉萍
• 申請（專利權）人: 廣西師范大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/04;G06N3/08
• 代理公司: 南寧新途專利代理事務所(普通合伙) 45119
• 代理人: 但玉梅

本發明提成一種基于卷積神經與條件生成對抗性網絡的灰度圖像上色方法，其采用基于殘差網絡的遷移學習方法對圖像進行分類后，將原始灰色圖像與該圖像的標簽一起輸入到圖像自動上色網絡中，圖像自動上色網絡根據圖像的標簽為該圖像匹配相對應的上色模型進行圖像自動上色。該方法與以往傳統的上色方法相比，此方法能夠全面地對提取到的特征進行分類，再根據圖像的分類，有目的地對目標對象進行自動上色，從而使圖片上色效果更接近人們心中預設的視覺效果，且在相同的訓練次數和學習率的條件下，該方法能夠實現更好的上色效果。

技術領域

本發明涉及圖像處理技術領域，特別涉及一種基于卷積神經與條件生成對抗性網絡的灰度圖像上色方法。

背景技術

目前，對于圖片上色主要還是運用Photoshop等軟件手工完成。對于設計師來說，一張圖片的上色，往往不僅需要花費很長的時間去完成，還要經過不斷地研究、不斷地調整和修改，才能得到滿意的效果。因此，如果能夠輸入一張圖片，就能夠生成已經上色好的圖片，僅僅需要幾秒鐘就可以自動完成手工可能需要一個月時間才能完成的工作，這樣的方法會顯得十分的重要且有意義。

圖像著色技術在圖像處理領域是非常重要的研究話題，其發展也越來越快，目前我們所公知的圖片自動上色的技術中，大多數用的是條件生成對抗性網絡，通過設計生成器和判別器。其中生成器的作用是生成圖片并設法騙過判別器，而判別器則要區分圖片的真假，通過對抗學習使得兩者越來越強，使生成器生成的圖片能夠達到以假亂真的效果，最終經過生成器對圖片進行上色。由于沒有經過系統的圖像分類，這樣往往需要龐大且廣泛的樣本數和足夠多的訓練次數，要耗費比較長的時間去訓練生成器和判別器，才能有比較好的上色效果，如果樣本數和訓練次數不夠，因為受到圖片類型或者圖片色調的限制，上色后生成圖片可能出現顏色比較單一或者顏色與圖片不匹配的問題，和人們預設的上色效果差距過大。因此，如果能夠加入圖像分類模塊，對圖片的類型進行分類(如按照動物、植物、動漫、食物等等分類)，將獲得標簽的圖片輸入到對抗網絡中，根據標簽的值選取對應的生成器進行上色，這樣的上色效果會更好。另外，圖像分類采用的是遷移學習的方法，傳統的圖像分類方法需要消耗大量的時間,且分類效果相對較差，而遷移學習的方法只需在一個特定的數據集上，重新利用已經訓練過的卷積神經網絡(CNN)，并將其改造或遷移到一個不同的數據集中，重復使用訓練過的卷積神經網絡，這樣能夠有效的解決耗時較長的問題。

綜上所述，基于卷積神經網絡與條件生成對抗網絡的灰度圖片自動上色的方法研究中，如果按照現有的方法去實現，就需要去收集較多類型廣泛的樣本數據，并且需要耗費大量時間去訓練條件生成網絡的生成器和判別器，最終才能生成上色效果較好的圖片，這樣的方法耗時長、效果欠佳，不是一種理想的方法。

發明內容

鑒于以上內容，有必要提供一種基于卷積神經與條件生成對抗性網絡的灰度圖像上色方法，其利用深度學習與生成對抗網絡(GANs)、遷移學習等技術，提供一個能夠準確快速以及精確上色的全自動灰度圖像彩色化的方法，從而給輸入的灰度圖片自動上色，省去手工上色所需花費的大量時間，同時耗時短、效果好。

為達到上述目的，本發明所采用的技術方案是：

一種基于卷積神經與條件生成對抗性網絡的灰度圖像上色方法，其采用基于殘差網絡的遷移學習方法對圖像進行分類后，將原始灰色圖像與該圖像的標簽一起輸入到圖像自動上色網絡中，圖像自動上色網絡根據圖像的標簽為該圖像匹配相對應的上色模型進行圖像自動上色，該上色方法具體包括如下步驟：

(一)模型建立

1)收集數據

1.1)收集大量的彩色圖片，并對收集到的數據做數據增操作處理，數據增操作包括圖像旋轉、圖像亮度調整等；然后，將數據的尺寸通過圖像裁剪，處理成相同的大小；

1.2)給數據集中的圖像添加標簽，同一類的圖像標簽相同，不同類的圖像標簽不同，圖像類別數設為N；