[發(fā)明專利]基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的圖像著色處理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010325399.6
• 申請(qǐng)日: 2020-04-23
• 公開（公告）號(hào): CN111524205A
• 公開（公告）日: 2020-08-11
• 發(fā)明（設(shè)計(jì)）人: 杜康寧;曹林;劉昌通
• 申請(qǐng)（專利權(quán)）人: 北京信息科技大學(xué)
• 主分類號(hào): G06T11/40
• 分類號(hào): G06T11/40;G06N3/04;G06N3/08
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 王天堯;湯在彥

本發(fā)明公開了一種基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的圖像著色處理方法及裝置，該方法包括：根據(jù)預(yù)先獲取的圖像訓(xùn)練樣本，通過(guò)機(jī)器學(xué)習(xí)訓(xùn)練一個(gè)雙層循環(huán)生成對(duì)抗網(wǎng)絡(luò)模型，使得模型的生成對(duì)抗損失和一致性損失滿足預(yù)設(shè)收斂條件，該模型中包含：用于將灰度圖像映射為彩色圖像的第一生成器、用于將彩色圖像映射為灰度圖像的第二生成器、用于區(qū)分第一生成器輸出彩色圖像與真實(shí)彩色圖像的第一判別器、用于區(qū)分第二生成器輸出灰度圖像與真實(shí)灰度圖像的第二判別器；在模型的生成對(duì)抗損失和一致性損失滿足預(yù)設(shè)收斂條件的情況下，采用第一生成器對(duì)待著色的灰度圖像進(jìn)行著色處理。本發(fā)明能夠避免復(fù)雜背景下圖像的誤著色，提高圖像著色處理的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的圖像著色處理方法及裝置。

背景技術(shù)

本部分旨在為權(quán)利要求書中陳述的本發(fā)明實(shí)施例提供背景或上下文。此處的描述不因?yàn)榘ㄔ诒静糠种芯统姓J(rèn)是現(xiàn)有技術(shù)。

眾所周知，對(duì)于灰度圖像，人眼只能識(shí)別出十幾種灰度等級(jí)，但是對(duì)于彩色圖像，人眼卻可以分辨出成百上千種的色彩，可見，彩色圖像能夠更好表達(dá)圖像的意義，增強(qiáng)圖像的特征，提高人眼的認(rèn)知，傳遞視覺的享受，使人眼能更快、更好地捕捉到圖像的意義和信息，進(jìn)而充分發(fā)揮好圖像的價(jià)值。圖像著色技術(shù)是對(duì)灰度圖像(包括黑白圖像)進(jìn)行偽彩色化處理的一種技術(shù)手段，其作為現(xiàn)代計(jì)算機(jī)的一種輔助技術(shù)，在影像處理、老照片修復(fù)等領(lǐng)域具有重要的研究意義和應(yīng)用價(jià)值。

傳統(tǒng)的圖像著色技術(shù)主要有如下兩種：第一種，基于局部顏色擴(kuò)展的著色技術(shù)，需要用戶手動(dòng)在目標(biāo)圖像上對(duì)局部區(qū)域的顏色進(jìn)行標(biāo)注，并將此顏色作為著色的依據(jù)，然后再進(jìn)一步對(duì)整幅圖像進(jìn)行擴(kuò)張上色。第二種，基于顏色傳遞的著色技術(shù)，需要一張或者多張與待著色圖像相似的彩色樣本圖像，并以此為基準(zhǔn)，對(duì)待著色圖像進(jìn)行顏色的傳遞，使得待著色圖像與彩色樣本圖像具有相似的顏色。

對(duì)于第一種基于局部顏色擴(kuò)展的著色技術(shù)，由于需要用戶的人為干預(yù)(例如，在目標(biāo)圖像上進(jìn)行區(qū)域顏色標(biāo)注，或者將圖像分割成小塊單元圖像)，其著色結(jié)果能夠符合預(yù)期，更接近真實(shí)彩色圖像的水準(zhǔn)，且著色結(jié)果是以用戶標(biāo)注的顏色為導(dǎo)向的，更容易被用戶接受。但由于每個(gè)用戶對(duì)于圖像的理解不同，對(duì)圖像的審美觀也不同，因此在局部區(qū)域標(biāo)注的顏色也會(huì)不同，最后導(dǎo)致不同的著色結(jié)果。換言之，如果人工標(biāo)注的顏色不準(zhǔn)確，那么著色結(jié)果將與預(yù)期的效果相悖，甚至出現(xiàn)顏色錯(cuò)誤、混亂的結(jié)果，尤其是在亮度變化較明顯的區(qū)域，如果錯(cuò)誤將顏色標(biāo)注在了邊緣區(qū)域，則擴(kuò)散的結(jié)果將會(huì)變得很不理想。

對(duì)于第二種基于顏色傳遞的著色技術(shù)，由于需要彩色的參考圖像，將參考圖像中的顏色信息傳遞到待著色圖像上，這便需要在彩色參考圖像和待著色圖像中去尋找相似的部分，以傳遞顏色。

相對(duì)于第一種基于局部顏色擴(kuò)展的著色技術(shù)，第二種基于顏色傳遞的著色技術(shù)，在一定程度上能夠減少人為干預(yù)的操作，但仍需要手動(dòng)設(shè)置參考圖像。

隨著計(jì)算機(jī)性能的不斷提高，使得GPU計(jì)算能力也相應(yīng)提升，對(duì)深度神經(jīng)網(wǎng)絡(luò)和數(shù)字圖像的處理能力也越來(lái)越強(qiáng)。同時(shí)，圖像處理領(lǐng)域的相關(guān)算法技術(shù)和處理手段也變得越來(lái)越繁瑣，而深度學(xué)習(xí)技術(shù)因適合進(jìn)行大量數(shù)據(jù)計(jì)算的特性，使其在圖像處理領(lǐng)域起到了極大的作用。因此近幾年來(lái)，深度學(xué)習(xí)與數(shù)字圖像處理技術(shù)之間的聯(lián)系日益緊密，深度學(xué)習(xí)不斷推動(dòng)著圖像領(lǐng)域向前發(fā)展，深度學(xué)習(xí)的方法逐漸引入到圖像著色的研究中。

目前，基于深度學(xué)習(xí)的圖像著色技術(shù)主要采用深度卷積神經(jīng)網(wǎng)絡(luò)，圖像先是經(jīng)過(guò)網(wǎng)絡(luò)的下采樣層，提取圖像結(jié)構(gòu)中的色彩信息，然后再經(jīng)過(guò)上采樣層，生成并還原圖像的真實(shí)的大小。這類采用深度卷積神經(jīng)網(wǎng)絡(luò)的圖像著色方法，網(wǎng)絡(luò)在提取圖像特征和生成圖像的過(guò)程中，容易丟失圖像的關(guān)鍵信息，出現(xiàn)誤著色的問(wèn)題。