[發(fā)明專利]一種語義結(jié)構(gòu)一致的圖像內(nèi)容轉(zhuǎn)換方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010979163.4
• 申請(qǐng)日: 2020-09-17
• 公開（公告）號(hào): CN112149802B
• 公開（公告）日: 2022-08-09
• 發(fā)明（設(shè)計(jì)）人: 尹夢(mèng)曉;林振峰;覃子軒;楊鋒
• 申請(qǐng)（專利權(quán)）人: 廣西大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06V10/80;G06V10/82
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 馮炳輝

1.一種語義結(jié)構(gòu)一致的圖像內(nèi)容轉(zhuǎn)換方法，其特征在于，包括以下步驟：

1)收集訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)是指成對(duì)的圖像，包括源圖像和目標(biāo)圖像，源圖像和目標(biāo)圖像一一對(duì)應(yīng)，語義結(jié)構(gòu)上保持一致；

2)對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理，構(gòu)建轉(zhuǎn)換模型，包括編碼器和生成器；

3)使用編碼器下采樣經(jīng)過預(yù)處理的源圖像，獲取潛在編碼；

4)使用生成器上采樣潛在編碼，上采樣過程中通過動(dòng)態(tài)感受野自適應(yīng)融合多尺度信息，生成虛假的目標(biāo)圖像；其中，所述生成器包含上采樣網(wǎng)絡(luò)層、特征處理模塊和輸出層，所述生成器將編碼器輸出的潛在編碼上采樣，并在上采樣過程中通過動(dòng)態(tài)感受野自適應(yīng)融合多尺度信息，處理方式為：

式中，表示編碼器輸出的潛在編碼，表示生成器中第i層上采樣網(wǎng)絡(luò)層輸出的特征，表示生成器中第i-1層上采樣網(wǎng)絡(luò)層輸出的特征，表示編碼器中第(n-i+1)層上采樣網(wǎng)絡(luò)層輸出的特征，⊙表示沿張量的維度進(jìn)行拼接，表示生成器中第i層上采樣網(wǎng)絡(luò)層使用的轉(zhuǎn)置卷積，表示生成器中第i層上采樣網(wǎng)絡(luò)層使用的歸一化方式，表示生成器中第i層上采樣網(wǎng)絡(luò)層使用的激活函數(shù)，i∈{1,2,3,...,n}，n表示生成器中總的上采樣網(wǎng)絡(luò)層數(shù)，m表示編碼器中總的下采樣網(wǎng)絡(luò)層數(shù)，d_G表示生成器中的特征處理模塊，表示編碼器中輸入層輸出的特征，表示生成器中輸出層使用的轉(zhuǎn)置卷積，表示生成器中輸出層使用的激活函數(shù)，I_F表示虛假的目標(biāo)圖像；其中，d_G對(duì)特征的處理方式為：

式中，表示生成器的上采樣網(wǎng)絡(luò)層中d_G輸入的特征，s_d表示通過動(dòng)態(tài)感受野自適應(yīng)融合多尺度信息的模塊，s_d在d_G中提取和融合多尺度信息，表示d_G中第j次特征處理使用的歸一化方式，表示d_G中第j次特征處理使用的激活函數(shù)，表示d_G中第j次特征處理使用的卷積，表示d_G中第j次特征處理輸出的特征，表示d_G中第j-1次特征處理輸出的特征，j∈{1,2}，表示d_G中的殘差連接使用的激活函數(shù)，表示d_G輸出的特征；其中，s_d通過動(dòng)態(tài)感受野自適應(yīng)融合多尺度信息的方式包含以下步驟：

4.1)使用不同感受野的卷積獲取多尺度信息：

式中，表示s_d輸入的特征，表示s_d中第k個(gè)卷積分支使用感受野大小為c的卷積，表示s_d中第k個(gè)卷積分支使用的歸一化方式，表示s_d中第k個(gè)卷積分支使用的激活函數(shù)，表示s_d中第k個(gè)卷積分支輸出的特征，包含在感受野大小為c的卷積上獲取的尺度信息，p表示s_d中的卷積分支的數(shù)量，k∈{1,2,3,...,p}，q表示s_d中卷積分支中感受野的大小，c∈{1,3,5,...,q}；

4.2)使用全局平均池化統(tǒng)計(jì)p個(gè)卷積分支輸出特征的全局變化：

式中，GAP表示全局平均池化，表示s_d中第p個(gè)卷積分支以感受野大小為q的卷積獲取的特征，W_s表示全局變化的張量；

4.3)使用W_s計(jì)算自適應(yīng)選擇權(quán)重：

式中，n_s表示對(duì)W_s進(jìn)行降維使用的歸一化方式，f_s表示對(duì)W_s進(jìn)行降維使用的激活函數(shù)，表示計(jì)算s_d中第k個(gè)卷積分支的選擇權(quán)重時(shí)使用的卷積，f_w表示計(jì)算選擇權(quán)重使用的激活函數(shù)，表示s_d中第k個(gè)卷積分支的選擇權(quán)重，表示不同尺度信息融合的特征，表示s_d中第p個(gè)卷積分支的選擇權(quán)重，通過控制中尺度信息的轉(zhuǎn)換程度，使s_d獲得動(dòng)態(tài)感受野；

5)構(gòu)建判別器，使用虛假的目標(biāo)圖像，經(jīng)過預(yù)處理的源圖像和經(jīng)過預(yù)處理的目標(biāo)圖像通過判別器構(gòu)建損失函數(shù)；

6)通過訓(xùn)練使損失函數(shù)收斂獲取參數(shù)最優(yōu)的轉(zhuǎn)換模型，使用參數(shù)最優(yōu)的轉(zhuǎn)換模型能夠轉(zhuǎn)換與訓(xùn)練數(shù)據(jù)中源圖像同類的圖像。