[發(fā)明專利]基于擴(kuò)散循環(huán)生成式對抗網(wǎng)絡(luò)的圖像風(fēng)格遷移方法

在審

• 申請?zhí)枺?/td>: 202211470261.0
• 申請日: 2022-11-23
• 公開（公告）號: CN116433466A
• 公開（公告）日: 2023-07-14
• 發(fā)明（設(shè)計）人: 萬久地;潘純潔;張前進(jìn);常琦;朱焱
• 申請（專利權(quán)）人: 中國鐵塔股份有限公司重慶市分公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/0475
• 代理公司: 北京同恒源知識產(chǎn)權(quán)代理有限公司 11275
• 代理人: 趙榮之

1.一種基于擴(kuò)散循環(huán)生成式對抗網(wǎng)絡(luò)的圖像風(fēng)格遷移方法，其特征在于：包括以下步驟：

S1：創(chuàng)建風(fēng)格A圖片數(shù)據(jù)集和風(fēng)格B圖片數(shù)據(jù)集，對圖像數(shù)據(jù)進(jìn)行預(yù)處理，構(gòu)建訓(xùn)練集和測試集；

S2：構(gòu)建擴(kuò)散循環(huán)生成式對抗網(wǎng)絡(luò)模型；

S3：設(shè)計擴(kuò)散循環(huán)生成式對抗網(wǎng)絡(luò)模型的損失函數(shù)；

S4：將風(fēng)格A與風(fēng)格B的非成對訓(xùn)練集輸入所述擴(kuò)散循環(huán)生成式對抗網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練；

S5：將風(fēng)格A與風(fēng)格B的測試集分別輸入訓(xùn)練好的擴(kuò)散循環(huán)生成式對抗網(wǎng)絡(luò)模型中，獲得風(fēng)格轉(zhuǎn)換后的圖像，完成風(fēng)格遷移任務(wù)。

2.根據(jù)權(quán)利要求1所述的基于擴(kuò)散循環(huán)生成式對抗網(wǎng)絡(luò)的圖像風(fēng)格遷移方法，其特征在于：步驟S2所述的構(gòu)建擴(kuò)散循環(huán)生成式對抗網(wǎng)絡(luò)模型，具體包括以下步驟：

S21：選取循環(huán)生成式對抗網(wǎng)絡(luò)中的生成器和鑒別器作為擴(kuò)散循環(huán)生成對抗網(wǎng)絡(luò)模型的生成器和鑒別器；

S22、構(gòu)建擴(kuò)散模塊，包括前向擴(kuò)散模塊和擴(kuò)散強(qiáng)度自適應(yīng)控制模塊；

S23：設(shè)計擴(kuò)散循環(huán)生成式對抗網(wǎng)絡(luò)模型的體系結(jié)構(gòu)由兩個生成器、兩個鑒別器、兩個擴(kuò)散模塊組成；

S24：模型結(jié)構(gòu)分為兩個學(xué)習(xí)過程：從風(fēng)格A圖像到風(fēng)格B圖像的學(xué)習(xí)過程和從風(fēng)格B圖像到風(fēng)格A圖像的學(xué)習(xí)過程。

3.根據(jù)權(quán)利要求2所述的基于擴(kuò)散循環(huán)生成式對抗網(wǎng)絡(luò)的圖像風(fēng)格遷移方法，其特征在于：步驟S22所述的構(gòu)建擴(kuò)散模塊，具體包括以下步驟：

S221：設(shè)計前向擴(kuò)散模塊，向真實圖像與生成圖像中注入高斯實例噪聲以平滑圖像數(shù)據(jù)分布，注入噪聲的強(qiáng)度由擴(kuò)散步長t控制，得到的噪聲數(shù)據(jù)混合分布由y表示；

S222：將得到的真實圖像與生成圖像的噪聲混合分布按照擴(kuò)散強(qiáng)度t輸入鑒別器中判斷生成圖像真假；

S223：設(shè)計擴(kuò)散強(qiáng)度自適應(yīng)控制模塊，根據(jù)鑒別器的過擬合程度動態(tài)控制向圖片中注入的噪聲強(qiáng)度t；設(shè)計鑒別器過擬合程度度量值r_d，并利用r_d更新擴(kuò)散鏈最大擴(kuò)散步長T，得到擴(kuò)散步長分布p_π。

4.根據(jù)權(quán)利要求3所述的基于擴(kuò)散循環(huán)生成式對抗網(wǎng)絡(luò)的圖像風(fēng)格遷移方法，其特征在于：步驟S221中所述的前向擴(kuò)散模塊中設(shè)有前向擴(kuò)散鏈，以m個步驟將高斯實例噪聲逐漸添加到真實圖像與生成圖像中以平滑圖像數(shù)據(jù)分布，注入噪聲的強(qiáng)度由擴(kuò)散步長t控制，最大擴(kuò)散步長由T表示，代表擴(kuò)散鏈的最大長度。得到噪聲數(shù)據(jù)在整個擴(kuò)散鏈中的整體分布由Y表示，單個擴(kuò)散步長的噪聲數(shù)據(jù)混合分布由y表示，Y的計算公式為：

其中q(y|x,t)是單個擴(kuò)散步長的噪聲數(shù)據(jù)混合分布，π_t是擴(kuò)散步長t的混合權(quán)重，y表示為：

其中N代表躍遷高斯分布，a_t是提前定義好的和t相關(guān)的方差表，σ²是固定方差，I為單位矩陣；

每個步長t的混合權(quán)重π_t由離散分布p_π定義，表示為：

t～pπ＝Discrete(π₁,...,π_t)

其中Discrete代表非對稱離散分布。

5.根據(jù)權(quán)利要求3所述的基于擴(kuò)散循環(huán)生成式對抗網(wǎng)絡(luò)的圖像風(fēng)格遷移方法，其特征在于：步驟S223中所述的鑒別器過擬合程度度量值r_d，計算公式為：

其中，D_φ(y,t)是鑒別器輸出，sign是符號函數(shù)，根據(jù)度量值更新擴(kuò)散鏈最大擴(kuò)散步長T的公式為：

T＝T+sign(r_d-d_target)*C

其中d_target與C均為固定常數(shù)，更新后的擴(kuò)散步長混合權(quán)重分布函數(shù)p_π為：