[發(fā)明專利]一種精細化高質量效果的材質風格遷移系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211123710.4
• 申請日: 2022-09-15
• 公開（公告）號: CN115511700A
• 公開（公告）日: 2022-12-23
• 發(fā)明（設計）人: 沈玉龍;陳森霖;袁博;胡凱
• 申請（專利權）人: 南京栢拓視覺科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T5/50;G06T7/10;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 任志艷

本發(fā)明公開的一種精細化高質量效果的材質風格遷移系統(tǒng)包括對數(shù)據(jù)集風格材質圖像的自動精細化篩選模塊、經(jīng)典材料風格遷移模塊、原圖像材質部分的割精細化分模塊、以及合成模塊；自動精細化篩選模塊用于在現(xiàn)有的標準風格圖片數(shù)據(jù)集中篩選出材質類間差大的風格圖片數(shù)據(jù)集；經(jīng)典材料風格遷移模塊基于篩選過后的數(shù)據(jù)集中風格圖片，將原圖像轉換成目標風格材質圖像I_gen；精細化分割模塊用于將原圖像中待遷移材質部分從原圖像中分割出來，并將原圖像中待遷移材質部分定義為目標區(qū)域，其它區(qū)域定義為背景區(qū)域；合成模塊用于將圖像I_gen中與目標區(qū)域對應的部分，與原圖像背景區(qū)域進行合成。

技術領域

本發(fā)明屬于虛擬現(xiàn)實領域，具體來講，是一種精細化高質量效果的材質風格遷移系統(tǒng)。

發(fā)明背景

材質遷移的概念是將物體的原始材質更改為所選目標圖像風格材質的合成圖片，舉例來講，可以把原圖中的木頭材質(原始材質)的物體，改變?yōu)榻饘俨馁|(目標圖像風格材質)的物體，而形成的合成圖片，合成圖片中除了木頭材質部分之外，其他部分不變。這種技術可以改變人類對物體的感知，它可以與增強現(xiàn)實相結合(AR)和虛擬現(xiàn)實(VR)設備，具有很好的應用價值。

目前，材質遷移的一個重要問題是合成圖像的質量依靠于所選風格的圖像。此外，必須只能在原始材質所在的限定區(qū)域內進行材質遷移。主要存在兩個關鍵的工程問題：

(1)數(shù)據(jù)集篩選：所選風格材質圖像如何能夠更加清楚地表示目標材質，人們需要的是類和類之間(類間)樣本差異更大，一個類內內部(類內)樣本差異更小的數(shù)據(jù)集；

(2)在像素級有標簽數(shù)據(jù)集數(shù)量很少的前提下，如何對原始對象中的原始材質部分進行精細化分割。

對于這兩個問題，現(xiàn)有的材質遷移算法解決方案的研究集中在材質遷移任務本身的遷移算法性能上，但是未考慮以上這兩個工程問題。

發(fā)明內容

本發(fā)明基于現(xiàn)有的人工智能、虛擬現(xiàn)實技術，對現(xiàn)有的材料風格遷移算法面臨的風格材質圖像精細化選擇、有標簽數(shù)據(jù)量很少的前提下的原有材質部分精細化分割兩個工程問題，提出了解決方案。它可以很好的解決以上的問題，提高材質風格遷移時的效果。

本發(fā)明提出了一種精細化高質量效果的材質風格遷移系統(tǒng)，包括對數(shù)據(jù)集風格材質圖像的自動精細化篩選模塊、經(jīng)典材料風格遷移模塊、原圖像材質部分的割精細化分模塊、以及合成模塊；

自動精細化篩選模塊用于在現(xiàn)有的標準風格圖片數(shù)據(jù)集中篩選出材質類間差大的風格圖片數(shù)據(jù)集；

經(jīng)典材料風格遷移模塊基于篩選過后的數(shù)據(jù)集中風格圖片，將原圖像轉換成目標風格材質圖像I_gen；

精細化分割模塊用于將原圖像中待遷移材質部分從原圖像中分割出來，并將原圖像中待遷移材質部分定義為目標區(qū)域，其它區(qū)域定義為背景區(qū)域；

合成模塊用于將圖像I_gen中與目標區(qū)域對應的部分，與原圖像背景區(qū)域進行合成。

進一步的，自動精細化篩選模塊用于在風格圖片數(shù)據(jù)集中篩選出材質類間差大風格圖片數(shù)據(jù)集，具體包括如下內容：

在經(jīng)典神經(jīng)風格遷移算法的CNN學習過程結束后，重新把所有現(xiàn)有的數(shù)據(jù)集樣本全部輸入到CNN中，對每個樣本分類的可能性值進行統(tǒng)計，得到樣本si分類的第一可能值和第二可能性值之間的差Dth1，表示為：

其中，si表示樣本編號，cli為樣本集中標簽已知的樣本類的編號，取值為{1，2，3，……，cltot}，cltot是樣本類的總數(shù)；cl是樣本被識別為某類樣本的編號，取值為{1，2，3，……，cltot}，cltot是樣本類的總數(shù)；括號里面1、2代表第1可能性和第2可能性，從高到低。