[發明專利]基于生成對抗網絡的兵馬俑色彩復原方法

有效

• 申請號: 202210060421.8
• 申請日: 2022-01-19
• 公開（公告）號: CN114528920B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 劉曉寧;汪強;拓東成;郭佩瑤;劉金紅;王躍進;楊雪
• 申請（專利權）人: 西北大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06T5/00;G06T7/90
• 代理公司: 西安恒泰知識產權代理事務所 61216
• 代理人: 李鄭建

本發明公開了一種基于生成對抗網絡的兵馬俑色彩復原方法，該方法以GAN網絡為基礎構建兵馬俑色彩復原網絡模型，并對該兵馬俑色彩復原網絡模型進行訓練，進而將相應的兵馬俑圖像進行色彩復原。具體包括：收集兵馬俑數據集，通過旋轉，裁剪，調節亮度和對比度來擴充數據集；對數據集大小進行調整，通過腳本代碼將其調整為大小64x64的圖片；對原始GAN網絡模型進行調整，使之成為條件GAN模型；將數據批量輸入到條件GAN網絡中進行訓練；訓練完成后，對網絡模型進行測試。該方法首次將深度學習的方法應用于兵馬俑色彩復原中，克服了現有技術中對兵馬俑色彩復原的單一性，提高了著色的多樣性，同時也加快了對兵馬俑圖像處理的速度。

技術領域

本發明屬于計算機視覺相關技術領域，涉及使用深度學習的方法完成圖像的色彩復原，具體涉及一種基于生成對抗網絡的兵馬俑色彩復原方法。

背景技術

被譽為世界八大奇跡之一的秦始皇兵馬俑是我國古代人民智慧的結晶，具有極高的藝術價值。但是如今我們所見到的兵馬俑都呈陶灰色，事實上，剛剛出土的兵馬俑都是彩色的，出土時彩色大部分已經脫落。經有關專家分析論證可以得出：兵馬俑上衣的顏色有粉綠、朱紅、棗紅等，褲子的顏色一般有粉綠、朱紅、粉紫等。時隔兩千多年，這些兵馬俑歷經磨難，遭受自然侵蝕和人為破壞后，早已失去了其原本的面貌，同時在兵馬俑破土而出時，由于其結構的特殊性，并且它的留存環境發生了改變，受到了光照，氧化和濕度等多方面的影響，使得原本絢麗多彩的兵馬俑驟然變得黯然失色。因此兵馬俑表面的色彩復原具有重要的研究意義和價值。

隨著計算技術的不斷發展，利用計算機技術輔助修復文物成為了現如今的研究熱點。近幾年來，隨著圖像處理技術和深度學習的不斷發展，使得基于數字圖像處理及深度學習的灰度圖像彩色化技術成為可能。灰度圖像彩色化是目前計算機視覺的研究熱點，利用無監督的多樣化著色來完成兵馬俑上色處理，來虛擬展示兵馬俑的顏色具有重要的現實意義和理論價值。

近年來，國內外在深度學習方面對灰度圖像上色也頗有研究，其研究的內容大致包括兩類，一種就是將單一的灰度圖像直接放入到神經網絡中進行顏色通道預測；另外一種就是不僅包含有目標圖像，同時還對應有源圖像，通過對源圖像的顏色分布進行統計，再對目標圖像進行上色處理。2020年，王婷婷等人提出基于超像素的圖像著色變異模型，其方法就是以一個單一的源圖像作為輸入，首先，將源圖像和目標圖像分割成超像素，并從亮度通道中的每個超像素中提取多個特征。然后利用自頂向下的特征匹配方案，在源圖像中為每個目標超像素找到一組相似的超像素。這些相似的超像素的顏色形成相應的目標超像素的顏色候選集。最后將顏色選擇建模為一個變分框架，并同時強制加權非局部自相似性和局部一致性，通過簡單的處理后，最終得到目標圖像的上色結果。2016年，Richard等人將RGB圖像轉換為Lab圖像進行顏色通道預測，通過將灰度圖上色作為分類任務并在訓練時使用類重新平衡來增加結果中顏色的多樣性來接受問題的潛在不確定性，其算法在測試時被實現為CNN中的前饋傳遞，并且使用“著色圖靈測試”來評估其的算法。2012年，何永強等人提出基于融合和色彩傳遞的灰度圖像彩色化技術，該技術是利用圖像融合算法對微光圖像和紅外圖像進行融合，然后利用改進的welsh算法對融合圖像進行嚴格的色彩傳遞，保證色彩傳遞的正確性，最后利用最優化算法對未進行色彩傳遞的區域進行色彩擴展。2020年，蔣文杰等人利用深度學習的卷積神經網絡提出了一種基于改進生成對抗網絡的上色算法，采用了原模型pix2pix的U型結構的生成器并在其中引入了自注意力機制，以提高輸出圖像的色彩多樣性。

還有利用K均值聚類對圖像進行分析，并提出最近區域匹配算法，該算法可以避免多個區域匹配到同一個區域的問題，從而更好的實現兩幅圖像的顏色遷移，但對于色調單一的圖像效果不明顯，而且上色單一。

發明內容

針對現有技術對灰白圖像著色單一的技術問題，本發明的目的在于，提供一種基于生成對抗網絡的兵馬俑色彩復原方法。

為了實現上述任務，本發明采取如下的技術解決方案：