[發明專利]一種精細化高質量效果的材質風格遷移系統

在審

• 申請號: 202211123710.4
• 申請日: 2022-09-15
• 公開（公告）號: CN115511700A
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 沈玉龍;陳森霖;袁博;胡凱
• 申請（專利權）人: 南京栢拓視覺科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T5/50;G06T7/10;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 任志艷

1.一種精細化高質量效果的材質風格遷移系統，其特征在于，包括對數據集風格材質圖像的自動精細化篩選模塊、經典材料風格遷移模塊、原圖像材質部分的割精細化分模塊、以及合成模塊；

自動精細化篩選模塊用于在現有的標準風格圖片數據集中篩選出材質類間差大的風格圖片數據集；

經典材料風格遷移模塊基于篩選過后的數據集中風格圖片，將原圖像轉換成目標風格材質圖像I_gen；

精細化分割模塊用于將原圖像中待遷移材質部分從原圖像中分割出來，并將原圖像中待遷移材質部分定義為目標區域，其它區域定義為背景區域；

合成模塊用于將圖像I_gen中與目標區域對應的部分，與原圖像背景區域進行合成。

2.根據權利要求1所述一種精細化高質量效果的材質風格遷移系統，其特征在于，自動精細化篩選模塊用于在風格圖片數據集中篩選出材質類間差大風格圖片數據集，具體包括如下內容：

在經典神經風格遷移算法的CNN學習過程結束后，重新把所有現有的數據集樣本全部輸入到CNN中，對每個樣本分類的可能性值進行統計，得到樣本si分類的第一可能值和第二可能性值之間的差Dth1，表示為：

其中，si表示樣本編號，cli為樣本集中標簽已知的樣本類的編號，取值為{1，2，3，……，cltot}，cltot是樣本類的總數；cl是樣本被識別為某類樣本的編號，取值為{1，2，3，……，cltot}，cltot是樣本類的總數；括號里面1、2代表第1可能性和第2可能性，從高到低；

定義閾值Th1，如果Dth1^si≥Th1，則認為樣本si在樣本集中為材質類間差大的樣本，將樣本si加入到的候選圖片集Dataset2。

3.根據權利要求2所述一種精細化高質量效果的材質風格遷移系統，其特征在于，自動精細化篩選模塊還用于在風格圖片數據集中篩選出類內差小的風格圖片數據集，具體包括如下步驟：

步驟1，基于經典神經風格遷移算法法，對圖片集Dataset2中每類中的樣本，利用CNN的隱藏層上輸出的單獨特征，使用線性判別分析LDA方法進行聚類分析，計算每個特征中每個樣本經過歸一化后的特征坐標；

步驟2，計算類內樣本之間的在第fm個特征的類內距離Dis^fm(sj,sk)，表示為：

Dis^fm(sj,sk)＝|P^fm(sj)-P^fm(sk)|

其中，fm表示樣本的第fm個特征，取值范圍從1到fmtot，fmtot是特征的總數，sj是圖片集Dataset2中某一類的第1個到sjtot個樣本中的第sj個樣本,sk是第sk個樣本，sjtot是圖片集Dataset2中該類樣本的總數，P^fm(sj)是第sj個樣本的第fm個特征在LDA基線上的投影坐標，P^fm(sk)是第sk個樣本的第fm個特征在LDA基線上的投影坐標；

步驟3，將每個樣本在每個特征上對應的類內距離相加，得出每個樣本與其它樣本總的類內距離；用以下公式表示，

步驟4，Dis(sj)重新排序，得到排序后的類內sortedDis1(sj)，刪除掉其中Dis(sj)值較大的sjtot*(1-Th2)個樣本，得到排序后的類內距離sortedDis2(sm)，以及樣本集Dataset3，樣本集Dataset3就是本方法得到的理想風格圖片集，

其中，Th2是這一輪擬保留樣本的數量比例，sm∈{1，……，sjtot*Th2}；

步驟5，在sortedDis2(sm)中找到最小值對應的樣本標為siop。

4.根據權利要求3所述一種精細化高質量效果的材質風格遷移系統，其特征在于，自動精細化篩選模塊還用于計算出理想特征；具體包括如下步驟：

步驟6，對樣本集Dataset3中樣本的各個特征做平均值計算，得到cli類特征fm的理想值

步驟7，把所有重新組織到CNN隱藏層的對應位置，按照經典神經風格遷移算法的內容，計算這一類理想特征矩陣的Gram值Gramideal。