[發(fā)明專(zhuān)利]一種基于實(shí)時(shí)零點(diǎn)圖像操作網(wǎng)絡(luò)的圖像處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710531090.0
• 申請(qǐng)日: 2017-07-03
• 公開(kāi)（公告）號(hào): CN107330852A
• 公開(kāi)（公告）日: 2017-11-07
• 發(fā)明（設(shè)計(jì)）人: 夏春秋
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳市唯特視科技有限公司
• 主分類(lèi)號(hào): G06T3/00
• 分類(lèi)號(hào): G06T3/00;G06N3/04;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于實(shí)時(shí)零點(diǎn)圖像操作網(wǎng)絡(luò)的圖像處理方法，其特征在于，主要包括圖像處理與卷積神經(jīng)網(wǎng)絡(luò)(CNN)(一)；零點(diǎn)操作網(wǎng)絡(luò)(二)；訓(xùn)練和測(cè)試(三)。

2.基于權(quán)利要求書(shū)1所述的圖像處理與卷積神經(jīng)網(wǎng)絡(luò)(CNN)，其特征在于，給定內(nèi)容圖像和引導(dǎo)信號(hào)(例如，樣式圖像)輸出變換圖像使得Y與內(nèi)容中的X_c相似，同時(shí)與X_s相似；因此，學(xué)習(xí)內(nèi)容和樣式的有效表示同樣重要，這樣才能進(jìn)行合理的圖像處理。

3.基于權(quán)利要求書(shū)1所述的卷積神經(jīng)網(wǎng)絡(luò)(CNN)，其特征在于，使用固定深度CNNφ(·)，l層中的特征映射可以表示圖像X的內(nèi)容，并且φ_l(X)的格式矩陣表示為計(jì)算為：

上式可以表示圖像X期望的風(fēng)格圖像；只有當(dāng)每個(gè)對(duì)應(yīng)表示(即，φ_l(X)或G(φ_l(X))之間的差異為一個(gè)小的弗羅貝尼烏斯范數(shù)，才能評(píng)估兩個(gè)圖像在內(nèi)容或風(fēng)格上相似；因此，可以訓(xùn)練前饋圖像變換網(wǎng)絡(luò)Y＝T(X_c)，通常是深度CNN，具有損失函數(shù)：

其中，是生成圖像Y的風(fēng)格損失，是內(nèi)容丟失，λ_s和λ_c是超參數(shù)；S是“樣式層”的集合，C是“內(nèi)容層”的集合，Z_l是l層中神經(jīng)元的總數(shù)；訓(xùn)練變換網(wǎng)絡(luò)T(·)之后，給定新的內(nèi)容圖像X′_c，在不使用丟失網(wǎng)絡(luò)的情況下生成風(fēng)格化圖像Y＝T(X′_c)。

4.基于權(quán)利要求書(shū)1所述的零點(diǎn)操作網(wǎng)絡(luò)(二)，其特征在于，零點(diǎn)操作網(wǎng)絡(luò)結(jié)合了圖像轉(zhuǎn)換網(wǎng)絡(luò)(TNet)和參數(shù)網(wǎng)絡(luò)(PNet)，除了使用TNet來(lái)轉(zhuǎn)換圖像，還訓(xùn)練參數(shù)網(wǎng)絡(luò)(PNet)，以產(chǎn)生以引導(dǎo)信號(hào)為條件(例如風(fēng)格圖像)的TNet的關(guān)鍵參數(shù)；由于PNet學(xué)習(xí)將引導(dǎo)信號(hào)嵌入到共享空間中，所以零點(diǎn)操作網(wǎng)絡(luò)能夠?qū)ξ粗囊龑?dǎo)信號(hào)進(jìn)行零點(diǎn)圖像處理。

5.基于權(quán)利要求書(shū)4所述的TNet與動(dòng)態(tài)實(shí)例歸一化，其特征在于，為了實(shí)現(xiàn)零點(diǎn)圖像處理，在測(cè)試過(guò)程中動(dòng)態(tài)地指定TNet的網(wǎng)絡(luò)參數(shù)，從而可以處理看不見(jiàn)的信號(hào)；基于引導(dǎo)信號(hào)X_s上的PNet調(diào)節(jié)的特征圖，初始化方式是直接生成TNet的濾波器；然而，在實(shí)踐中，TNet的每一層通常具有超過(guò)100000個(gè)參數(shù)(例如，128×128×3×3)，而PNet的各層中的特征圖通常具有約1000000個(gè)條目(例如，128×80×80)；因此難以有效地將高維矢量轉(zhuǎn)換成另一個(gè)。