[發(fā)明專利]一種多通道圖像內容特征融合風格遷移方法及系統

在審

• 申請?zhí)枺?/td>: 202110603920.2
• 申請日: 2021-05-31
• 公開（公告）號: CN113191944A
• 公開（公告）日: 2021-07-30
• 發(fā)明（設計）人: 楊大偉;王萌;毛琳;張汝波
• 申請（專利權）人: 大連民族大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/04;G06N3/08
• 代理公司: 大連智高專利事務所(特殊普通合伙) 21235
• 代理人: 蓋小靜

1.一種多通道圖像內容特征融合風格遷移方法，其特征在于，包括：

準備訓練風格遷移網絡模型的數據集，所述數據集分為源域圖像β₁^c·u·v和目標域圖像

讀取源域圖像β₁^c·u·v，通過下采樣對圖像內容特征進行粗提取得到特征向量讀取目標域圖像通過下采樣對圖像風格特征進行粗提取得到特征向量

對所述特征向量進行全局池化和全連接層處理，獲得風格編碼的結果特征向量

對所述特征向量進行單通道特征融合或多通道特征融合或復合通道特征融合；

將所述單通道特征融合或多通道特征融合或復合通道特征融合輸出的特征向量與結果特征向量進行融合，輸出特征向量

使用解碼器進一步提取融合后特征向量完成風格遷移，輸出遷移結果

2.根據權利要求1所述一種多通道圖像內容特征融合風格遷移方法，其特征在于，所述單通道特征融合使用全連接函數將所述特征向量變換為單特征通道形式特征向量公式為：

其中，D(x)為全連接函數操作，為卷積過程，M^c·3·3為3×3的卷積核，步長s＝2；

使用反卷積神經網絡將融合為c個特征通道的特征向量公式為：

其中，C_dec(x)為反卷積操作，為卷積過程，M^c·3·3為3×3的卷積核，步長s＝2；

使用卷積核為1的卷積神經網絡整合不同特征通道融合的特征向量，輸出特征向量公式為：

其中，C_con(x)為卷積操作，為卷積過程，M^c·1·1為1×1的卷積核，步長s＝1。

3.根據權利要求1所述一種多通道圖像內容特征融合風格遷移方法，其特征在于，所述多通道特征融合使用多層殘差單元進一步提取所述特征向量的深度特征，得到特征向量公式為：

其中，C_r(x)為殘差操作，為卷積過程，M^c·1·1為1×1的卷積核，步長s＝1；

使用卷積核M^c·1·1為1×1的卷積神經網絡對殘差單元輸出的特征向量進行提純，輸出特征向量公式為：

其中，C_con(x)為卷積操作，為卷積過程，M^c·1·1為1×1的卷積核，步長s＝1。

4.根據權利要求2或3所述一種多通道圖像內容特征融合風格遷移方法，其特征在于，所述復合通道特征融合為單通道特征融合與多通道特征融合的組合形式，使用卷積核M^c·1·1為1×1的卷積神經網絡將特征向量和特征向量進行融合并輸出公式為：

其中，C_con(x)為卷積操作，為卷積過程，M^c·1·1為1×1的卷積核，步長s＝1。

5.根據權利要求1所述一種多通道圖像內容特征融合風格遷移方法，其特征在于，將所述單通道特征融合或多通道特征融合或復合通道特征融合輸出的特征向量與結果特征向量進行融合，輸出特征向量公式為：

其中，C_t(x)為融合函數，Θ為對不同形式輸出融合的過程。

6.一種多通道圖像內容特征融合風格遷移系統，其特征在于，包括特征融合模塊，其輸入為源域圖像β₁^c·u·v經過雙倍下采樣后的特征向量所述特征融合模塊包括深度特征融合單元和特征保持單元；單個特征通道的特征向量輸入到深度特征融合單元中，用于提取深度內容特征；多個特征通道的特征向量輸入到特征保持單元中，用于減小圖像內容的映射偏差。

7.根據權利要求6所述一種多通道圖像內容特征融合風格遷移系統，其特征在于，所述特征融合模塊分為單通道特征融合模塊、多通道特征融合模塊和復合通道特征融合模塊。