[發(fā)明專利]基于Transformer與生成對(duì)抗網(wǎng)絡(luò)的圖像著色方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211247125.5
• 申請(qǐng)日: 2022-10-12
• 公開(kāi)（公告）號(hào): CN115546338A
• 公開(kāi)（公告）日: 2022-12-30
• 發(fā)明（設(shè)計(jì)）人: 薛濤;馬鵬森
• 申請(qǐng)（專利權(quán)）人: 西安工程大學(xué)
• 主分類號(hào): G06T11/00
• 分類號(hào): G06T11/00;G06T15/00;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務(wù)所 61214
• 代理人: 王丹

本發(fā)明公開(kāi)了一種基于Transformer與生成對(duì)抗網(wǎng)絡(luò)用于圖像著色方法，使用生成對(duì)抗網(wǎng)絡(luò)GAN與Transformer，而不是單純的使用卷積神經(jīng)網(wǎng)絡(luò)CNN來(lái)解決圖像著色問(wèn)題，提出的Transformer?GAN通過(guò)基于窗口的多頭自注意力機(jī)制、計(jì)算資源友好的鑒別器減少過(guò)多的計(jì)算資源。局部增強(qiáng)前向傳播網(wǎng)絡(luò)和跳躍連接確保了淺層特征可以在網(wǎng)絡(luò)中被有效地傳輸和利用，使得Transformer?GAN可以有效地捕獲全局和局部信息之間的相關(guān)性。還通過(guò)數(shù)據(jù)增強(qiáng)、目標(biāo)函數(shù)選擇來(lái)探索最佳的訓(xùn)練過(guò)程，形成的彩色圖像生成器和鑒別器使得Transformer?GAN在圖像彩色化方面表現(xiàn)良好。實(shí)現(xiàn)了最佳的視覺(jué)效果。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種基于Transformer與生成對(duì)抗網(wǎng)絡(luò)的圖像著色方法。

背景技術(shù)

在圖像著色任務(wù)中，我們的目標(biāo)是從輸入的灰度圖像生成彩色圖像。按照類別，從早期傳統(tǒng)的基于CNN結(jié)構(gòu)的無(wú)跳躍連接算法，到后來(lái)出現(xiàn)了由使用者指定圖像顏色的網(wǎng)絡(luò)(這些網(wǎng)絡(luò)需要用戶在特定的圖層中輸入顏色值)。以及使用生成對(duì)抗網(wǎng)絡(luò)(GAN)的動(dòng)畫(huà)圖像彩色化的端到端前饋架構(gòu)，另外還有用于特定領(lǐng)域的紅外彩色化、雷達(dá)圖像彩色化等，以及后來(lái)出現(xiàn)的多模態(tài)著色模型(基于文本的著色網(wǎng)絡(luò))。多樣化的彩色化網(wǎng)絡(luò)通過(guò)生成不同的彩色圖像來(lái)補(bǔ)償多樣性的缺乏，網(wǎng)絡(luò)架構(gòu)包含多路徑網(wǎng)絡(luò)，該網(wǎng)絡(luò)在不同的網(wǎng)絡(luò)路徑或級(jí)別中學(xué)習(xí)不同的特征，并且用戶給出參考圖像作為著色網(wǎng)絡(luò)的輸入樣本。以上所有模型有一個(gè)共同點(diǎn)都是它們都是基于卷積神經(jīng)網(wǎng)絡(luò)CNN的網(wǎng)絡(luò)，然而與先前的工作不同，我使用transformer以及生成對(duì)抗網(wǎng)絡(luò)GAN構(gòu)建圖像彩色化網(wǎng)絡(luò)，據(jù)我所知，這是第一個(gè)使用Transformer為主要網(wǎng)絡(luò)進(jìn)行圖像彩色化的研究。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于Transformer與生成對(duì)抗網(wǎng)絡(luò)的圖像著色方法，解決了現(xiàn)在圖像著色網(wǎng)絡(luò)著色效果差，著色多樣性差的問(wèn)題。

本發(fā)明所采用的技術(shù)方案是，基于Transformer與生成對(duì)抗網(wǎng)絡(luò)的圖像著色方法，該方法按照以下步驟實(shí)施：

步驟1、構(gòu)建基于生成對(duì)抗網(wǎng)絡(luò)的圖像著色模型，所述圖像著色模型包括彩色圖像生成器和鑒別器；所述彩色圖像生成器同于生成彩色圖像，所述鑒別器用于判斷輸入的圖像是真實(shí)彩色圖像或偽彩色圖像；

步驟2、將灰色圖像輸入所述圖像著色模型的彩色圖像生成器生成偽彩色圖像；

步驟3、分別更新鑒別器以及彩色圖像生成器的參數(shù)：

步驟3.1：首先固定彩色圖像生成器的參數(shù)，將所述偽彩色圖像以及所述灰色圖像對(duì)應(yīng)的真實(shí)彩色圖像依次交替輸入鑒別器，然后根據(jù)損失函數(shù)計(jì)算所述灰色圖像對(duì)應(yīng)的真實(shí)彩色圖像與標(biāo)簽值為1之間的損失，以及根據(jù)損失函數(shù)計(jì)算所述灰色圖像生成的偽彩色圖像與標(biāo)簽值為0之間的損失，最后利用反向傳播算法，更新所述鑒別器的參數(shù)；其中標(biāo)簽值為1代表的是真實(shí)的圖像，標(biāo)簽值為0代表的是生成的偽彩色圖像；

步驟3.2：固定鑒別器的參數(shù)，根據(jù)損失函數(shù)計(jì)算生成的偽彩色圖像與標(biāo)簽值為1之間的損失，最后利用反向傳播算法，更新所述彩色圖像生成器的參數(shù)。

步驟3.3：不斷循環(huán)步驟3.1和步驟3.2更新鑒別器和彩色圖像生成器參數(shù)的過(guò)程，直至損失值收斂，彩色圖像生成器生成效果不錯(cuò)的偽彩色圖像，即獲得了優(yōu)化后圖像著色模型；

步驟4、利用優(yōu)化后的圖像著色模型就直接對(duì)灰色圖像進(jìn)行著色。

本發(fā)明的特點(diǎn)還在于，

步驟1中，所述彩色圖像生成器中包含多個(gè)MWin-transformer模塊，所述Mwin-transformer模塊的功能是提取和重建圖像的特征，輸出3通道有效彩色圖像：

所述Mwin-transformer模塊由三個(gè)核心部分組成：基于窗口的多頭自注意力機(jī)制、層歸一化操作LN和局部增強(qiáng)前向傳播網(wǎng)絡(luò)LeFF。