[發(fā)明專利]一種使用循環(huán)一致對(duì)抗網(wǎng)絡(luò)的非成對(duì)圖像轉(zhuǎn)化方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710488261.6
• 申請(qǐng)日: 2017-06-23
• 公開(kāi)（公告）號(hào): CN107220929A
• 公開(kāi)（公告）日: 2017-09-29
• 發(fā)明（設(shè)計(jì)）人: 夏春秋
• 申請(qǐng)（專利權(quán)）人: 深圳市唯特視科技有限公司
• 主分類號(hào): G06T3/00
• 分類號(hào): G06T3/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域

本發(fā)明涉及圖像轉(zhuǎn)化領(lǐng)域，尤其是涉及了一種使用循環(huán)一致對(duì)抗網(wǎng)絡(luò)的非成對(duì)圖像轉(zhuǎn)化方法。

背景技術(shù)

圖像到圖像之間的轉(zhuǎn)換是一類視覺(jué)和圖形問(wèn)題，其目標(biāo)是通過(guò)訓(xùn)練學(xué)習(xí)輸入圖片的風(fēng)格，將其映射到框架類似的輸出圖片中。對(duì)于當(dāng)前業(yè)界及研究機(jī)構(gòu)所擁有的數(shù)據(jù)來(lái)講，多數(shù)處于配對(duì)狀態(tài)，即圖像的屬性具有對(duì)稱性，如一雙鞋子的左右腳般。但實(shí)際應(yīng)用中，大多數(shù)數(shù)據(jù)都不存在先驗(yàn)配對(duì)知識(shí)，這樣的非成對(duì)圖像進(jìn)行視覺(jué)轉(zhuǎn)移在當(dāng)前業(yè)界尚未出現(xiàn)完成的例子。本發(fā)明提出的對(duì)于非成對(duì)圖像之間進(jìn)行風(fēng)格遷移、材質(zhì)改變、季節(jié)變化、圖像增強(qiáng)等操作都有成功演示，體現(xiàn)出獨(dú)有優(yōu)越性，在考古文物模擬、醫(yī)學(xué)圖像仿真、農(nóng)作物生長(zhǎng)演化等方面都有可用的潛在價(jià)值，此外，該發(fā)明可激發(fā)遙感圖像增強(qiáng)、機(jī)器人視覺(jué)融合等高尖科技領(lǐng)域的關(guān)鍵技術(shù)研究。

圖像之間的特性轉(zhuǎn)化仍舊是一個(gè)開(kāi)放的問(wèn)題。從圖像轉(zhuǎn)化的不可逆到可逆，其基本信息必須被保護(hù)不被破壞，同時(shí)加上或者還原的特性必須是線性可加，同時(shí)還要考慮到原圖像的像素分布、紋理結(jié)構(gòu)等問(wèn)題，給直接的尤其非配對(duì)的圖像轉(zhuǎn)化帶來(lái)難度。

本發(fā)明提出了一種基于二次建模損失函數(shù)最小化的新框架。使用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行分辨器的建模，同時(shí)對(duì)原集合域X設(shè)計(jì)映射函數(shù)，使得生成圖像具有目標(biāo)集合域Y的圖像特性，并且對(duì)轉(zhuǎn)化過(guò)程進(jìn)行二次損失函數(shù)建模，通過(guò)最小化損失函數(shù)，以至于讓分類器越來(lái)越難以分辨生成圖像，同時(shí)提高非成對(duì)圖像的轉(zhuǎn)化成功率。本發(fā)明可以處理不同風(fēng)格的照片或者圖像，提供一個(gè)最小二乘法及最大似然概率來(lái)最小化損失函數(shù)，同時(shí)提高了圖像轉(zhuǎn)化的仿真度。

發(fā)明內(nèi)容

針對(duì)解決在不同風(fēng)格圖像之間進(jìn)行特性轉(zhuǎn)化的問(wèn)題，本發(fā)明的目的在于提供一種使用循環(huán)一致對(duì)抗網(wǎng)絡(luò)的非成對(duì)圖像轉(zhuǎn)化方法，提出了一種基于二次建模損失函數(shù)最小化的新框架。

為解決上述問(wèn)題，本發(fā)明提供一種使用循環(huán)一致對(duì)抗網(wǎng)絡(luò)的非成對(duì)圖像轉(zhuǎn)化方法，其主要內(nèi)容包括：

(一)一般模塊；

(二)損失函數(shù)模塊；

(三)目標(biāo)函數(shù)模塊；

(四)訓(xùn)練網(wǎng)絡(luò)模塊。

其中，所述的一般模型，給定兩個(gè)集合域X和Y，建立映射函數(shù)模型G:X→Y和F:Y→X，將X和Y中的訓(xùn)練樣本和的圖像特性進(jìn)行交換，此外，引入對(duì)抗分類器D_X和D_Y，用于分辨原始樣本{x}和生成樣本{F(y)}、原始樣本{y}和生成樣本{G(x)}。

所述的損失函數(shù)模塊，包括對(duì)抗損失函數(shù)和循環(huán)一致?lián)p失函數(shù)。

所述的對(duì)抗損失函數(shù)，對(duì)映射函數(shù)模型G:X→Y及其分類器D_Y，具體的對(duì)抗損失函數(shù)為：

其中，G試圖生成跟集合域Y相似的圖像，但同時(shí)也要經(jīng)受分類器D_Y的對(duì)抗，即需要進(jìn)行分辨生成樣本與真實(shí)樣本，因此對(duì)映射函數(shù)G需要最小化而對(duì)分類器D_Y要最大化，即：

G^*＝arg min_Gmax_DYL_GAN(G,D_Y,X,Y) (2)

相似地，對(duì)映射函數(shù)F有：

F^*＝arg min_Fmax_DXL_GAN(G,D_X,Y,X) (3)

其中，D_X是逆向的分類器。

所述的循環(huán)一致?lián)p失函數(shù)，映射函數(shù)具有可逆性，在原始圖像轉(zhuǎn)化為生成圖像后，也能轉(zhuǎn)化回原始圖像，即x→G(x)→F(G(x))≈x，上述步驟全部完成一次則為一個(gè)前向循環(huán)一致行為，相似地，對(duì)于被匹配圖像y，有y→F(y)→G(F(y))≈y,上述步驟全部完成一次則為一個(gè)反向循環(huán)一致行為，合并后的過(guò)程中，其循環(huán)一致?lián)p失函數(shù)為：

其中，‖‖₁表示一階范數(shù)。

所述的目標(biāo)函數(shù)模塊，引入常量控制兩個(gè)不同損失函數(shù)對(duì)總體函數(shù)模塊的比重，即總體損失函數(shù)為，

由此，引入目標(biāo)函數(shù)為：

其中，常量λ是比重控制因子。

所述的訓(xùn)練網(wǎng)絡(luò)模塊，包括網(wǎng)絡(luò)結(jié)構(gòu)、模型穩(wěn)定過(guò)程和網(wǎng)絡(luò)調(diào)試。

所述的網(wǎng)絡(luò)結(jié)構(gòu)，使用兩層步長(zhǎng)為2的卷積網(wǎng)絡(luò)層、N層殘差網(wǎng)絡(luò)和兩層步長(zhǎng)為1/2的卷積網(wǎng)絡(luò)層作為主體架構(gòu)，其中當(dāng)輸入圖像尺寸為128×128時(shí)N＝6，尺寸為256×256或者更高時(shí)N＝9。