[發明專利]一種高分辨率圖像風格遷移方法

有效

• 申請號: 202010221492.2
• 申請日: 2020-03-26
• 公開（公告）號: CN111415299B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 馬偉鋒;季曹婷;陳喆;樓姣;馬來賓;徐昶;岑躍峰;張宇來;孫曉勇;程志剛
• 申請（專利權）人: 浙江科技學院
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06T7/11;G06T7/181
• 代理公司: 杭州萬合知識產權代理事務所(特殊普通合伙) 33294
• 代理人: 丁海華

本發明公開了一種高分辨率圖像風格遷移方法，通過向原始圖像填充像素后，再切割成多個圖像小片，在每個圖像小片的四周再擴展像素點，接著將圖像小片按行列的順序依次編號，得到圖像小片位置序列；然后將圖像小片打亂后進行排序，形成新的圖像小片序列，并生成圖像小片串圖；再對圖像小片串圖進行切割，形成個圖像數據塊進行風格遷移，最后將處理后的圖像數據塊中的圖像小片進行原始位置恢復，恢復時相鄰圖像小片之間利用邊緣融合算法進行邊緣融合，最終獲得圖像風格遷移結果圖像。本發明可以進行高分辨率圖像風格遷移，圖像風格遷移后邊界的拼接過渡自然，而且有效地提升風格遷移整體效果，具有適用性強的特點。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種高分辨率圖像風格遷移方法。

背景技術

圖像風格遷移是一個長期的研究課題，在神經網絡風格遷移(NST)出現之前，計算機圖形學的相關研究已經擴展到非真實感渲染(NPR)的領域。在計算機視覺領域，風格遷移通常被認為是紋理合成的問題，廣泛應用于網絡社交、用戶輔助創作、娛樂應用創作等領域。2015年Gatys等提出了一種基于神經網絡的風格遷移方法，開創性地將深度學習方法應用于圖像風格遷移中。Gatys等人的方法在時間復雜度上較高，每一張圖像都需要進行上千次的迭代優化。隨后，為了加速Gatys等人的方法，(2016年)Johnson等人提出通過相同的目標函數，訓練一個前饋型卷積神經網絡，每次只需要將原圖像輸入到前饋網絡即可得到風格圖像，相比Gatys等人的方法可以做到近1000倍的加速效果，能夠實時地進行風格遷移，成為目前圖像風格遷移的主流算法。該算法對中低分辨率圖像支持較好，然而在計算資源一定的情況下，面對如汽車制造設計、高清裝飾畫生成等需要高清甚至超高清的圖像分辨率要求的應用場景時，將無法處理。解決高分辨率圖像風格遷移的方法有兩種：一種，可以通過增加硬件資源來提升算力，滿足特定計算要求，但會增加成本、技術等開銷，且不具通用型；另一種，可以通過對計算方法的改進來解決：通過將原始圖像分成若干圖像數據塊，將數據塊分別進行快速風格遷移，再合并生成結果。這種方法可以在不改變硬件配置的條件下，支持高分辨率圖像風格遷移，具有通用型，這種方法的圖像數據塊劃分是個關鍵，如果對圖像進行常規的數據分塊后直接進行圖像風格遷移，會導致風格遷移的整體效果不是很理想，而且邊界的拼接處存在風格遷移不理想的，拼接過渡不自然的問題。

發明內容

本發明的目的在于，提供一種高分辨率圖像風格遷移方法。本發明不需要太多的計算資源及計算硬件即可進行高分辨率圖像風格遷移，圖像風格遷移后邊界的拼接過渡自然，而且有效地提升風格遷移整體效果，具有適用性強的特點。

為解決上述技術問題，本發明提供的技術方案如下：一種高分辨率圖像風格遷移方法，按下述步驟進行：

a、在n×m個像素的原始圖像的最右邊以及最下邊填充最小的P_w和P_h個像素使得圖像能夠切割成L×L個圖像小片，在每個圖像小片的四周再擴展P個像素點，即圖像小片的寬為(n+P_w)/L+2P，高為(m+P_h)/L+2P；

b、將圖像小片按行列的順序依次編號，得到圖像小片位置序列{1，2，3，……，L×L}；然后將圖像小片打亂后重新排序，形成新的圖像小片序列，用向量T記錄，并生成新的圖像小片串圖。

c、根據計算機計算能力的大小劃分圖像數據塊的數量K，使計算機能夠獨立處理一個圖像數據塊，每個圖像數據塊包含圖像小片串圖中(L×L)/K個圖像小片；

d、將所有圖像數據塊依次進行圖像風格遷移處理，然后利用向量T將處理后的圖像數據塊中的圖像小片進行原始位置恢復，恢復時，相鄰圖像小片之間利用邊緣融合算法進行邊緣融合，獲得圖像風格遷移結果圖像。

上述的高分辨率圖像風格遷移方法，所述步驟b中，首先求出每個圖像小片與原始圖像的直方圖差值，根據直方圖差值進行將圖像小片排序，生成圖像小片串圖；