[發(fā)明專利]一種基于螺旋生成網(wǎng)絡(luò)的高質(zhì)量圖像外推系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010768731.6
• 申請日: 2020-08-03
• 公開（公告）號: CN111915591B
• 公開（公告）日: 2022-03-22
• 發(fā)明（設(shè)計）人: 郭冬升;鄭海永;趙浩如
• 申請（專利權(quán)）人: 中國海洋大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/49;G06T7/90
• 代理公司: 重慶敏創(chuàng)專利代理事務(wù)所(普通合伙) 50253
• 代理人: 陳千

1.一種基于螺旋生成網(wǎng)絡(luò)的高質(zhì)量圖像外推系統(tǒng)，其特征在于，螺旋生成網(wǎng)絡(luò)包括假想圖生成網(wǎng)絡(luò)、切片生成網(wǎng)絡(luò)、螺旋辨別器和外推辨別器；

所述假想圖生成網(wǎng)絡(luò)包括假想圖生成器和假想圖辨別器，所述假想圖生成網(wǎng)絡(luò)用于在所述假想圖生成器、所述假想圖辨別器于假想圖目標損失函數(shù)的對抗下，生成輸入子圖像的假想圖；所述假想圖生成器采用CycleGAN的生成器結(jié)構(gòu)，所述假想圖辨別器采用Pix2Pix的辨別器結(jié)構(gòu)；

所述切片生成網(wǎng)絡(luò)包括切片算子、切片生成器、外推算子；所述切片算子用于將所述假想圖切出假想圖切片以及將當前螺旋點的外推圖像切出最近鄰切片；所述切片生成器用于根據(jù)所述最近鄰切片、所述假想圖切片與所述輸入子圖像生成外推切片；所述外推算子用于將所述外推切片縫合回當前螺旋點的外推圖像，得到下一螺旋點的外推圖像，如此完成一次次的螺旋外推；所述切片生成器包括編碼器、自適應(yīng)實例歸一化模塊、空間自適應(yīng)歸一化模塊、解碼器；將所述假想圖切片輸入至所述編碼器，通過自適應(yīng)實例歸一化模塊在其隱變量空間中融合所述輸入子圖像的風(fēng)格，其后在所述解碼器中通過空間自適應(yīng)歸一化模塊引入所述最近鄰切片的語義信息，生成最終的所述外推切片；

所述螺旋辨別器和所述外推辨別器用于在螺旋損失目標函數(shù)的對抗下，輸出多次螺旋外推后的目標圖像；

所述假想圖目標損失函數(shù)由第一對抗損失函數(shù)、色相-顏色損失函數(shù)、感知損失函數(shù)線性組合而成；所述色相-顏色損失函數(shù)的表達式為：

其中，是真實圖像Y的縮小圖像，是所述假想圖，h×w是真實圖像Y的尺寸，ξ與γ均為常數(shù)，γ＜1；

所述第一對抗損失函數(shù)的表達式為：

其中，G_I、D_I分別表示所述假想圖生成器和所述假想圖辨別器，表示輸入子圖像；

所述感知損失函數(shù)的表達式為：

其中，N_u是第u個激活層中特征矩陣的元素數(shù)量，σ_u是預(yù)訓(xùn)練模型VGG-19中第u層激活特征矩陣；

所述螺旋損失目標函數(shù)由第二對抗損失函數(shù)L1損失函數(shù)、風(fēng)格損失函數(shù)、所述色相-顏色損失函數(shù)線性組合而成；

所述第二對抗損失函數(shù)的表達式為：

其中，F(xiàn)表示螺旋生成函數(shù)，D_S表示所述螺旋辨別器，D_E表示所述外推辨別器，表示螺旋生成的所述目標圖像，表示的外推區(qū)域，E表示真實圖像Y的外推區(qū)域，表示的外推區(qū)域，即表示與和Y等大的外推遮蓋層；

所述L1損失函數(shù)的表達式為：

所述風(fēng)格損失函數(shù)的表達式為：

其中，表示從激活圖σ_v中構(gòu)造的G_v×G_vGram矩陣。

2.如權(quán)利要求1所述的一種基于螺旋生成網(wǎng)絡(luò)的高質(zhì)量圖像外推系統(tǒng)，其特征在于，所述假想圖目標損失函數(shù)的表達式為：

其中，分別表示所述第一對抗損失函數(shù)、所述感知損失函數(shù)，是用于平衡三類損失的權(quán)重。

3.如權(quán)利要求2所述的一種基于螺旋生成網(wǎng)絡(luò)的高質(zhì)量圖像外推系統(tǒng)，其特征在于：將所述輸入子圖像疊加外推遮蓋層M與均勻分布噪聲Z后輸入所述假想圖生成網(wǎng)絡(luò)中，得到所述假想圖。

4.如權(quán)利要求2所述的一種基于螺旋生成網(wǎng)絡(luò)的高質(zhì)量圖像外推系統(tǒng)，其特征在于，所述螺旋損失目標函數(shù)的表達式為：

其中，分別表示所述第二對抗損失函數(shù)、所述L1損失函數(shù)、所述風(fēng)格損失函數(shù)、所述色相-顏色損失函數(shù)，λ_adv、λ_L1、λ_style、λ_hue是用于平衡這四類損失的權(quán)重。