[發明專利]一種多路并行圖像內容特征優化風格遷移方法及系統

在審

• 申請號: 202110601532.0
• 申請日: 2021-05-31
• 公開（公告）號: CN113284042A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 毛琳;王萌;楊大偉;張汝波
• 申請（專利權）人: 大連民族大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 大連智高專利事務所(特殊普通合伙) 21235
• 代理人: 蓋小靜

本發明公開了一種多路并行圖像內容特征優化風格遷移方法及系統，屬于深度學習風格遷移領域。為實現風格可變、內容特征一致的風格遷移，其系統提出一種特征優化模塊，包含深度特征優化單元和特征增強單元。深度特征融合單元可將多條支路的單一特征通道的圖像內容特征進行融合，提取深度內容特征信息，特征增強單元可保持多通道特征完整性。將兩個單元輸出的四維特征向量進行融合，能夠加強深度特征表達能力，保證遷移前后圖像內容一致。本發明適用于自主駕駛、安防監控等領域。

技術領域

本發明涉及深度學習風格遷移技術領域，具體涉及一種多路并行圖像內容特征優化風格遷移方法及系統。

背景技術

目前自動駕駛系統大多依靠雷達、紅外設備感知行車周邊環境，其對小目標、模糊目標和高速運動目標定位不精確。隨著自動駕駛和智能機器人應用領域迅速發展，作為自動駕駛系統必不可少的風格遷移技術，是當前研究的熱點之一。

現有風格遷移算法可分為基于神經網絡和基于生成對抗網絡的風格遷移。名稱為一種圖片風格遷移方法，公開號為CN112330535A的發明專利申請中公開了一種基于神經網絡構建風格遷移模型，對風格遷移模型進行參數更新和歸一化處理，通過優化生成器和判別器，重新構建損失函數，有效減少了模型震蕩并加快模型收斂速度。名稱為基于神經網絡的圖像風格遷移方法及系統，公開號為CN112288621A的發明專利申請，借助分類神經網絡，得到內容圖像和風格樣本圖像的深度特征圖，以風格特征為樣本，內容特征為約束，實現圖像風格遷移。充分利用了深度特征表達力強的優點，使目標圖像更符合內容特征和風格紋理的語義特征，更完整的保持紋理信息。基于神經網絡的風格遷移大多使用卷積神經網絡提取圖像內容特征和風格特征，產生的風格遷移效果在細節表現上存在交叉，不能很好的應用于交通場景自動駕駛領域的風格遷移。

生成對抗網絡的提出加速了深度學習風格遷移的進步，基于生成對抗網絡的風格遷移大多以編解碼形式實現。名稱為一種基于潛變量特征生成的圖像多風格轉化方法，公開號為CN110992252A的發明專利申請，在多模態無監督圖像轉換網絡MUNIT基礎上，設計風格編碼生成器對圖像的風格編碼進行擬合，同時在內容編碼和多風格編碼之間引入跳躍連接，在風格編碼中引入注意力機制，提高了圖像多風格轉換的質量和多樣性。名稱為一種跨域變分對抗自編碼方法，公開號為CN110210549A的發明專利申請，利用編碼器解耦跨域數據的內容編碼和風格編碼，利用對抗操作和變分操作分別擬合圖像的內容編碼和風格編碼，通過交叉將不同域的內容編碼和風格編碼實現跨域圖像的一對多變換。可在不使用配對數據集時實現跨域圖像的一對多風格遷移。

現有基于卷積神經網絡的風格遷移方法無法從圖像表征中分離出深度特征，也不能對紋理結構進行顯示干預。這種不可控因素會導致模糊的語義表達，并降低生成圖片質量。基于生成對抗網絡的風格遷移網絡訓練難以收斂，且風格映射自由，難以應用于自主駕駛領域。如何有效利用深度特征，保證風格遷移前后圖像內容一致，更好的應用于交通場景，成為一個亟待解決的問題。

發明內容

本發明提出一種多路并行圖像內容特征優化風格遷移方法及系統，其使用多路并行方式分離出單一特征通道和多個特征通道的圖像內容特征，提升了小目標和模糊目標的分離提取能力以及圖像細節紋理信息的遷移能力。能夠有效實現圖像內容特征一致的風格遷移，可很好的應用于自主駕駛、安防監控等領域。

為實現上述目的，本發明的技術方案為：一種多路并行圖像內容特征優化風格遷移方法，包括：

準備訓練風格遷移網絡模型的數據集，所述數據集包括特征通道為c的源域輸入圖像pic1^c×h×w和目標域輸入圖像pic2^c×h×w，兩種圖像尺寸均為h×w；

讀取所述源域輸入圖像I₁^c～h×w和所述目標域輸入圖像I₂^c～h×w，分別對其進行雙倍下采樣操作，輸出特征向量和