[發(fā)明專利]一種基于圖像塊隨機重排的高分辨率圖像風格遷移方法

有效

• 申請?zhí)枺?/td>: 202010545649.7
• 申請日: 2020-06-16
• 公開（公告）號: CN111445387B
• 公開（公告）日: 2020-10-16
• 發(fā)明（設計）人: 馬偉鋒;陳喆;季曹婷
• 申請（專利權）人: 浙江科技學院
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40;G06T5/00;G06T5/40;G06K9/62
• 代理公司: 杭州萬合知識產權代理事務所(特殊普通合伙) 33294
• 代理人: 丁海華

本發(fā)明公開了一種基于圖像塊隨機重排的高分辨率圖像風格遷移方法，首先對圖像擴大，再利用擴大后的圖像按順序生成多個圖像方塊，并按順序編號，然后利用隨機函數(shù)對圖像方塊進行排列，再根據計算機處理上限分辨率將多個圖像方塊拼接成計算機所能處理極限的子圖像，再對單獨的子圖像依次進行圖像分格遷移處理，將風格化的子圖像切割，再根據順序編號對圖像方塊進行排列拼接，相鄰圖像方塊之間重疊的區(qū)域融合，最后移除原圖像邊緣部分向外擴大的寬度和填充的寬度使其恢復為原始大小，最終獲得成品。本發(fā)明可以使圖像風格遷移后邊界的拼接過渡自然美麗，而且能夠有效地提升風格遷移整體效果，具有適用性強的特點。

技術領域

本發(fā)明涉及圖像處理技術領域，具體涉及一種基于圖像塊隨機重排的高分辨率圖像風格遷移方法。

背景技術

圖像風格遷移是一個長期的研究課題，在神經網絡風格遷移(NST)出現(xiàn)之前，計算機圖形學的相關研究已經擴展到非真實感渲染(NPR)的領域。在計算機視覺領域，風格遷移通常被認為是紋理合成的問題，廣泛應用于網絡社交、用戶輔助創(chuàng)作、娛樂應用創(chuàng)作等領域。2015年Gatys等提出了一種基于神經網絡的風格遷移方法，開創(chuàng)性地將深度學習方法應用于圖像風格遷移中。Gatys等人的方法在時間復雜度上較高，每一張圖像都需要進行上千次的迭代優(yōu)化。隨后，為了加速Gatys等人的方法，(2016年)Johnson等人提出通過相同的目標函數(shù)，訓練一個前饋型卷積神經網絡，每次只需要將原圖像輸入到前饋網絡即可得到風格圖像，相比Gatys等人的方法可以做到近1000倍的加速效果，能夠實時地進行風格遷移，成為目前圖像風格遷移的主流算法。該算法對中低分辨率圖像支持較好，然而在計算資源一定的情況下，面對如汽車制造設計、高清裝飾畫生成等需要高清甚至超高清的圖像分辨率要求的應用場景時，將無法處理。解決高分辨率圖像風格遷移的方法有兩種：一種，可以通過增加硬件資源來提升算力，滿足特定計算要求，但會增加成本、技術等開銷，且不具通用型；另一種，可以通過對計算方法的改進來解決：通過將原始圖像分成若干圖像數(shù)據塊，將數(shù)據塊分別進行快速風格遷移，再合并生成結果。這種方法可以在不改變硬件配置的條件下，支持高分辨率圖像風格遷移，具有通用型，這種方法的圖像數(shù)據塊劃分是個關鍵，如果對圖像進行常規(guī)的數(shù)據分塊后直接進行圖像風格遷移，會導致風格遷移的整體效果不是很理想，而且邊界的拼接處存在風格遷移不理想的，拼接過渡不自然的問題。

發(fā)明內容

本發(fā)明的目的在于，提供一種基于圖像塊隨機重排的高分辨率圖像風格遷移方法。本發(fā)明不需要太多的計算資源及計算硬件即可進行高分辨率圖像風格遷移，圖像風格遷移后邊界的拼接過渡自然，而且有效地提升風格遷移整體效果，具有適用性強的特點。

為解決上述技術問題，本發(fā)明提供的技術方案如下：一種基于圖像塊隨機重排的高分辨率圖像風格遷移方法，包括長寬為W×H的圖像x，并按以下步驟進行：

a、將圖像x全部分隔成邊長為w_basic的基礎方塊，圖像x中不能被完整分隔的邊緣部分向外擴大補足成基礎方塊的寬度，此時新圖像x的長擴大至新圖像x的寬擴大至再將新圖像x向四周均勻填充w_padding，填充后的圖像記圖像x′，圖像x′的長度W′和寬度H′為：

b、將圖像x′按先行后列次序，以邊長為w_block的正方形區(qū)域作為窗口向右或下移動，其中w_block＝w_basic+2w_padding，窗口移動的步長為w_basic，每移動一步均生成邊長為w_block的圖像方塊，并將該圖像方塊按順序編號，得到圖像方塊的總數(shù)N_total為：