[發(fā)明專利]一種多路并行圖像內(nèi)容特征優(yōu)化風(fēng)格遷移方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110601532.0
• 申請(qǐng)日: 2021-05-31
• 公開（公告）號(hào): CN113284042A
• 公開（公告）日: 2021-08-20
• 發(fā)明（設(shè)計(jì)）人: 毛琳;王萌;楊大偉;張汝波
• 申請(qǐng)（專利權(quán)）人: 大連民族大學(xué)
• 主分類號(hào): G06T3/00
• 分類號(hào): G06T3/00;G06T3/40;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 大連智高專利事務(wù)所(特殊普通合伙) 21235
• 代理人: 蓋小靜

1.一種多路并行圖像內(nèi)容特征優(yōu)化風(fēng)格遷移方法，其特征在于，包括：

準(zhǔn)備訓(xùn)練風(fēng)格遷移網(wǎng)絡(luò)模型的數(shù)據(jù)集，所述數(shù)據(jù)集包括特征通道為c的源域輸入圖像pic1^c×h×w和目標(biāo)域輸入圖像pic2^c×h×w，兩種圖像尺寸均為h×w；

讀取所述源域輸入圖像I₁^c～h×w和所述目標(biāo)域輸入圖像I₂^c～h×w，分別對(duì)其進(jìn)行雙倍下采樣操作，輸出特征向量和

對(duì)所述特征向量使用全局平均池化和全連接函數(shù)處理，依次輸出特征向量和特征向量

對(duì)所述特征向量依次進(jìn)行深度卷積處理、雙線性插值、點(diǎn)卷積處理，得到特征向量

使用卷積核為M^c×3×3的卷積神經(jīng)網(wǎng)絡(luò)、多層殘差單元、卷積核為M^c×3×3的反卷積神經(jīng)網(wǎng)絡(luò)依次處理所述特征向量得到特征向量

將所述特征向量與所述特征向量進(jìn)行融合，得到特征向量Y₁^c～h×w，將所述特征向量Y₁^c～h×w送到殘差單元中，獲得內(nèi)容編碼的特征向量Y₂^c×h×w；

將所述特征向量與所述特征向量Y₂^c×h×w合并，通過(guò)解碼器輸出風(fēng)格遷移結(jié)果Y₃^c～h×w。

2.根據(jù)權(quán)利要求1所述一種多路并行圖像內(nèi)容特征優(yōu)化風(fēng)格遷移方法，其特征在于，所述下采樣過(guò)程包括：使用步長(zhǎng)s＝2、k＝3×3的卷積核M^c×3×3對(duì)源域輸入圖像pic1^c×h×w中的內(nèi)容特征、目標(biāo)域輸入圖像pic2^c×h×w風(fēng)格特征進(jìn)行粗提取得到特征向量和公式為：

其中為卷積過(guò)程，每個(gè)矩陣表示一個(gè)3×3的特征塊。

3.根據(jù)權(quán)利要求2所述一種多路并行圖像內(nèi)容特征優(yōu)化風(fēng)格遷移方法，其特征在于，所述下采樣過(guò)程還包括：對(duì)特征向量和進(jìn)行非線性激活處理，當(dāng)激活處理的特征值小于或等于0時(shí)，激活函數(shù)輸出值為0，如公式(3)，反之激活函數(shù)輸出與輸入相同，如公式(4)所示。

其中，函數(shù)A為激活函數(shù)。

4.根據(jù)權(quán)利要求1所述一種多路并行圖像內(nèi)容特征優(yōu)化風(fēng)格遷移方法，其特征在于，使用全局平均池化對(duì)每一單位特征進(jìn)行均值化，獲得每一單位的特征向量公式如下：

其中，P_average為全局平均池化函數(shù)，M^c×2×2為k＝2×2的卷積核；

對(duì)所述特征向量使用全連接函數(shù)逐一特征通道進(jìn)行特征處理，輸出特征向量公式如下：

其中，C_fully為全連接函數(shù)，選用k＝1×1大小的卷積核M^c×1×1進(jìn)行操作，為卷積操作。

5.根據(jù)權(quán)利要求1所述一種多路并行圖像內(nèi)容特征優(yōu)化風(fēng)格遷移方法，其特征在于，使用深度卷積神經(jīng)網(wǎng)絡(luò)將所述特征向量按照特征通道均勻分為c份，得到每一特征通道的特征分量公式如下：

其中，為每一特征通道的特征向量集合，C_deep為深度卷積函數(shù)，M^c×3×3為k＝3×3的深度卷積核，為卷積操作；

對(duì)每一特征通道的特征分量進(jìn)行雙線性插值，公式如下：

其中，M^i×3×1為特征通道數(shù)i∈{1,2,...,c}、k＝3×1的卷積核，M^i×1×3為特征通道數(shù)i∈{1,2,...,c}、k＝1×3的卷積核；

使用點(diǎn)卷積神經(jīng)網(wǎng)絡(luò)對(duì)分離特征進(jìn)行處理，得到特征向量所述點(diǎn)卷積神經(jīng)網(wǎng)絡(luò)會(huì)隨機(jī)刪除部分神經(jīng)元，公式如下

其中，D_ran為隨機(jī)刪除函數(shù)，q為隨機(jī)刪除神經(jīng)元的比例；

其中，C_poi為點(diǎn)卷積函數(shù)，M^c×1×1為卷積核，為卷積操作。