[發明專利]基于卷積神經與條件生成對抗性網絡的灰度圖像上色方法

有效

• 申請號: 202010427953.1
• 申請日: 2020-05-20
• 公開（公告）號: CN111627080B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 黎海生;廖明霞;魯健恒;黃飛燕;羅丹儀;全永樺;陳玉萍
• 申請（專利權）人: 廣西師范大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/04;G06N3/08
• 代理公司: 南寧新途專利代理事務所(普通合伙) 45119
• 代理人: 但玉梅

1.一種基于卷積神經與條件生成對抗性網絡的灰度圖像上色方法，其特征在于，其采用基于殘差網絡的遷移學習方法對圖像進行分類后，將原始灰色圖像與該圖像的標簽一起輸入到圖像自動上色網絡中，圖像自動上色網絡根據圖像的標簽為該圖像匹配相對應的上色模型進行圖像自動上色，該上色方法具體包括如下步驟：

(一)模型建立

1)收集數據

1.1)收集大量的彩色圖片，并對收集到的數據做數據增操作處理，數據增操作包括圖像旋轉、圖像亮度調整等；然后，將數據的尺寸通過圖像裁剪，處理成相同的大小；

1.2)給數據集中的圖像添加標簽，同一類的圖像標簽相同，不同類的圖像標簽不同，圖像類別數設為N；

1.3)劃分收集的數據，其中90％作為訓練集，10％作為測試集；

2)建立圖像分類網絡模型

圖像分類網絡模型由殘差網絡結構組成，該殘差結構包含五個卷積層組、一個全局平均池化層、一個全連接層和一個Softmax層，其中，將Softmax層的神經元數目設為N；

3)建立圖像自動上色網絡模型

圖像自動上色網絡選用帶有條件生成對抗性網絡的Pix2Pix模型，該Pix2Pix模型由生成器網絡與判別器網絡兩部分組成；其中，生成器網絡選用U-Net結構，該U-Net結構由壓縮路徑和擴展路徑組成，在壓縮路徑，其重復采用兩個卷積層和一個最大池化層的結構，在擴展路徑，其重復采用一個反卷積層和兩個卷積層的結構；判別器網絡使用PatchGAN，其將圖像分割成每個大小為M x M的圖像塊(patch)，判別器對每一個patch做真假判別，將一張圖片所有patch的結果取平均作為最終的判別器輸出；

(二)圖像上色

1)加載訓練好的圖像分類網絡模型與圖像自動上色網絡模型；

2)輸入待上色的灰色圖像，該灰色圖像經過圖像分類網絡獲得標簽后再連同所獲得的標簽輸入到圖像自動上色網絡中；

3)在圖像自動上色網絡中，根據輸入的圖像標簽，加載對應的圖像上色模型，將待上色的灰色圖像送入該圖像上色模型中進行上色，得到一張彩色圖像。

2.如權利要求1所述的基于卷積神經與條件生成對抗性網絡的灰度圖像上色方法，其特征在于，圖像分類網絡模型的訓練過程包括以下步驟：

2.1)獲得做了標簽的數據集；

2.2)向殘差網絡結構中輸入數據集中的訓練集圖像；

2.3)圖像經過殘差網絡結構輸出該圖像是某個類別的概率，所輸出的所有類別的概率之和為1；

2.4)通過比較所有類別的概率，輸出概率最大的標簽值，該標簽值所對應的類別即為圖像分類網絡針對該圖像判別出來其所屬于的類別，將該標簽值與圖像真實的標簽值比較，并根據比較結果優化網絡的參數；

2.5)重復步驟2.2)-2.4)，直到訓練圖像完全輸入或者圖像分類網絡的正確率符合預先的期望值為止，保存圖像分類網絡模型。