[發(fā)明專利]一種基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的圖像水墨風(fēng)格遷移方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310097882.7
• 申請(qǐng)日: 2023-02-10
• 公開（公告）號(hào): CN116310712A
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 周寧寧;楊潔;周祺
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06V10/82
• 分類號(hào): G06V10/82;G06N3/044;G06N3/0475;G06N3/094;G06N3/096;G06N3/048
• 代理公司: 南京縱橫知識(shí)產(chǎn)權(quán)代理有限公司 32224
• 代理人: 劉艷艷

1.一種基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的圖像水墨風(fēng)格遷移方法，其特征在于，包括：

獲取包含水墨風(fēng)格圖像、現(xiàn)實(shí)拍照?qǐng)D像的數(shù)據(jù)集；

利用所述數(shù)據(jù)集對(duì)基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的圖像水墨風(fēng)格遷移模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的圖像水墨風(fēng)格遷移模型；其中所述基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的圖像水墨風(fēng)格遷移模型包括兩個(gè)生成器和兩個(gè)判別器；

將待遷移的現(xiàn)實(shí)圖像輸入到訓(xùn)練好的圖像水墨風(fēng)格遷移模型中，得到相對(duì)應(yīng)的水墨風(fēng)格遷移圖像。

2.根據(jù)權(quán)利要求1所述的基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的圖像水墨風(fēng)格遷移方法及系統(tǒng)，其特征在于，利用所述數(shù)據(jù)集對(duì)基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的圖像水墨風(fēng)格遷移模型進(jìn)行訓(xùn)練，包括：

在第一生成器中加入自適應(yīng)歸一化結(jié)構(gòu)AdaIN，固定第一生成器，根據(jù)數(shù)據(jù)集中的水墨風(fēng)格圖像和第一生成器隨機(jī)生成的水墨圖像訓(xùn)練第一判別器；

固定第一判別器，利用第一生成器-第一判別器串接網(wǎng)絡(luò)，訓(xùn)練第一生成器，使其生成與輸入的水墨風(fēng)格圖像相近的水墨圖像；

在第二生成器中加入置換注意力機(jī)制SA，固定循環(huán)生成對(duì)抗網(wǎng)絡(luò)中的第二生成器，根據(jù)數(shù)據(jù)集中的現(xiàn)實(shí)拍照?qǐng)D像和第二生成器隨機(jī)生成的現(xiàn)實(shí)圖像訓(xùn)練第二判別器；

固定第二判別器，利用第二生成器-第二判別器串接網(wǎng)絡(luò)，訓(xùn)練第二生成器，使其生成與輸入的現(xiàn)實(shí)拍照?qǐng)D像相近的現(xiàn)實(shí)圖像。

3.根據(jù)權(quán)利要求2所述的基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的圖像水墨風(fēng)格遷移方法，其特征在于，在第一生成器中，對(duì)所有的輸入數(shù)據(jù)用自適應(yīng)歸一化結(jié)構(gòu)AdaIN進(jìn)行歸一化處理，歸一化處理過(guò)程包括：

其中，x和y分別表示兩種輸入的圖像風(fēng)格，μ(x)表示原始風(fēng)格圖的均值，σ(x)表示原始風(fēng)格圖的方差，μ(y)表示水墨風(fēng)格圖的均值，σ(y)表示水墨風(fēng)格圖的方差，AdaIN(x,y)表示歸一化處理后的輸出結(jié)果。

4.根據(jù)權(quán)利要求2所述的種基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的圖像水墨風(fēng)格遷移方法，其特征在于，在第二生成器中，編碼器與解碼器之間使用置換注意力機(jī)制SA，置換注意力機(jī)制的處理過(guò)程包括：

特征分組模塊用于對(duì)輸入特征進(jìn)行分組；設(shè)輸入特征為X∈R^C×H×W,將輸入特征X沿著通道維度拆分為g組：X＝[X₁,......,X_G],R^C/G×H×W；對(duì)于每組特征，通過(guò)空域注意力與通道注意力模塊生成不同的重要性系數(shù)；分組后的每個(gè)子特征X_k將被沿著通道維度拆分成兩個(gè)分支：X_K1,X_K2∈R^C/2G×H×W，一個(gè)分支用于學(xué)習(xí)通道注意力特征，一個(gè)分支用于學(xué)習(xí)空域注意力特征；

其中，X表示輸入的特征圖，C表示特征圖通道數(shù)，H表示特征圖的高，W表示特征圖的寬，G表示拆分的通道數(shù)，X_K表示分組后的每個(gè)子特征；

通道注意力模塊采用全局平均池化GAP+權(quán)重Scale+激活函數(shù)Sigmoid的組合，過(guò)程包括：

X′_k1＝σ(F_C(s))·X_k1＝σ(W_1s+b₁)·X_k1

其中，s和F_gp(x_k1)是全局平均池化操作后的輸出，X′_k1是通道注意力模塊輸出的通道注意力特征；W₁∈R^C/2G×1×1和b₁∈R^C/2G×1×1是用于縮放和平移的參數(shù)，σ表示sigmoid函數(shù)，F(xiàn)_C(·)指池化操作后的通道c的輸出；

空域注意力模塊是通道注意力的一個(gè)互補(bǔ)，過(guò)程包括：

X′_k2＝σ(W₂·GN(X_k2)+b2)·X_k2

其中，X′_k2是空域注意力模塊輸出的空域注意力特征；W₂和b₂是帶有形狀的參數(shù)R^C/2G×1×1，采用組歸一化對(duì)X_k2進(jìn)行處理得到空域?qū)用娴慕y(tǒng)計(jì)信息，然后采用F_C(·)進(jìn)行增強(qiáng)；

集成模塊用于對(duì)通道注意力特征X′_k1和空域注意力特征X′_k2進(jìn)行集成：首先通過(guò)Concat進(jìn)行融合，得到：X′_k＝[X′_k1,X′_k2]∈R^C/2G×H×W；最后，采用通道置換操作進(jìn)行組間通信；SA的最終輸出具有與輸入相同的尺寸，使SA嵌入到循環(huán)生成對(duì)抗網(wǎng)絡(luò)的第二生成器中。