[發(fā)明專利]一種面向圖像的非均勻風格遷移方法

有效

• 申請?zhí)枺?/td>: 201910860104.2
• 申請日: 2019-09-11
• 公開（公告）號: CN110660018B
• 公開（公告）日: 2023-10-17
• 發(fā)明（設(shè)計）人: 任桐煒;武港山;劉星宇
• 申請（專利權(quán)）人: 南京大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06V10/46;G06V10/82
• 代理公司: 南京天翼專利代理有限責任公司 32112
• 代理人: 奚銘

一種面向圖像的非均勻風格遷移方法，在圖像中，檢測各個像素的顯著性，根據(jù)各個像素的顯著性采用不同的風格化程度，生成非均勻的圖像風格遷移結(jié)果。本發(fā)明首先對于輸入的內(nèi)容圖像的每個像素自動計算顯著性，進而設(shè)定每個像素的風格化程度，然后分特征圖計算風格遷移中的內(nèi)容損失和風格損失，最小化風格遷移的總損失，生成非均勻的風格遷移結(jié)果。本發(fā)明解決了圖像風格遷移中過度風格化或風格化不足的問題，實現(xiàn)了在突出顯著區(qū)域內(nèi)容的同時強烈渲染不顯眼區(qū)域的風格，在風格化的過程中更好的平衡風格化圖像的內(nèi)容保持程度和風格渲染程度。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機圖像技術(shù)領(lǐng)域，涉及針對圖像的風格遷移方法，具體為一種面向圖像的非均勻風格遷移方法。

背景技術(shù)

圖像風格遷移是指參照給定圖像的風格，對另一幅圖像進行渲染，使得生成與給定圖的風格一致的風格化圖像。其中，被風格化的圖像稱為內(nèi)容圖像，作為風格的圖像稱為風格圖像，圖像風格遷移生成的結(jié)果稱為風格化圖像。圖像風格遷移可以幫助人們輕松地編輯圖像，快速取得所需的圖像編輯效果。

早期的圖像風格遷移工作通過根據(jù)相似性度量對像素或圖像塊進行采樣來合成新的圖像，以此實現(xiàn)簡單的風格化效果(如參考文獻3、6)。但由于這些方法缺少圖像的語義表示，無法有效地從圖像內(nèi)容中分離出風格，所以遷移結(jié)果的圖像質(zhì)量并不是很高，無法達到預(yù)期的風格化效果。近年來，隨著卷積神經(jīng)網(wǎng)絡(luò)在圖像處理中的應(yīng)用逐步推廣，一些學者將卷積神經(jīng)網(wǎng)絡(luò)用于圖像風格遷移，這類方法可以很好的提取出參考圖像的風格和輸入圖像的內(nèi)容并將他們?nèi)诤掀饋恚峁└哔|(zhì)量的風格化結(jié)果(如參考文獻1)。

圖像風格遷移中一個關(guān)鍵問題是如何平衡圖像內(nèi)容保持程度和風格渲染程度。現(xiàn)在的圖像風格化方法均使用相同的參數(shù)設(shè)置進行風格化，易使結(jié)果過度風格化或者風格化不足，即風格化結(jié)果中難以辨別原圖像的內(nèi)容或者難以感受到風格的影響，如圖2所示，圖2(a)為原視頻的視頻幀取樣，圖2(b)顯示了過度風格化結(jié)果，圖2(c)顯示了風格化不足的結(jié)果，圖2(d)為期待的風格化結(jié)果。很多情況下，難以選擇一個合適的全局參數(shù)實現(xiàn)風格化，總是不可避免的會過度風格化或風格化不足。

目前，僅有少量研究工作對非均勻風格化進行了嘗試，例如對人臉部分特殊處理(參考文獻4)，或者對位于不同景深的區(qū)域采用不同風格化程度加以區(qū)分(參考文獻 5)。但這些方法只是割裂的考慮圖像中特定內(nèi)容的風格化，而沒有關(guān)注圖像整體的過度風格化和風格化不足的問題。

本發(fā)明所涉及的面向圖像的非均勻風格遷移方法，提供了一種針對過度風格化或者風格化不足問題的解決方案，實現(xiàn)了在圖像中對不同區(qū)域采用不同的風格化程度，生成非均勻的風格遷移結(jié)果。

發(fā)明內(nèi)容

本發(fā)明要解決的問題是：解決圖像風格遷移過程中可能產(chǎn)生的過度風格化或風格化不足的問題，目的是平衡風格化圖像的內(nèi)容保持程度和風格渲染程度。

本發(fā)明的技術(shù)方案為：一種面向圖像的非均勻風格遷移方法，在圖像中，檢測各個像素的顯著性，根據(jù)各個像素的顯著性采用不同的風格化程度，生成非均勻的圖像風格遷移結(jié)果。

本發(fā)明具體包括以下步驟：

1)對于輸入的內(nèi)容圖像，自動求取各個像素的顯著性，并根據(jù)顯著性為每個像素設(shè)定風格化程度；

2)對于輸入的內(nèi)容圖像，將其表示為一層或多層特征圖，同時采用相同的方法將風格圖像表示為一層或多層特征圖，計算對應(yīng)層的特征圖在風格遷移中的內(nèi)容損失函數(shù)和風格損失函數(shù)；

3)將內(nèi)容損失函數(shù)和風格損失函數(shù)相融合，得到風格遷移總損失函數(shù)；

4)最小化風格遷移總損失函數(shù)，生成風格遷移結(jié)果。