[發(fā)明專利]一種基于螺旋生成網(wǎng)絡(luò)的高質(zhì)量圖像外推系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010768731.6
• 申請(qǐng)日: 2020-08-03
• 公開（公告）號(hào): CN111915591B
• 公開（公告）日: 2022-03-22
• 發(fā)明（設(shè)計(jì)）人: 郭冬升;鄭海永;趙浩如
• 申請(qǐng)（專利權(quán)）人: 中國(guó)海洋大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/49;G06T7/90
• 代理公司: 重慶敏創(chuàng)專利代理事務(wù)所(普通合伙) 50253
• 代理人: 陳千

本發(fā)明涉及圖像外推技術(shù)領(lǐng)域，具體公開了一種基于螺旋生成網(wǎng)絡(luò)的高質(zhì)量圖像外推系統(tǒng)，螺旋生成網(wǎng)絡(luò)包括假想圖生成網(wǎng)絡(luò)、切片生成網(wǎng)絡(luò)、螺旋辨別器和外推辨別器；所述切片生成網(wǎng)絡(luò)包括切片算子、切片生成器、外推算子。本發(fā)明提出一種新穎的螺旋生成網(wǎng)絡(luò)，首次將螺旋外推問題視為一個(gè)螺旋生長(zhǎng)的過程，使輸入子圖像在假想圖生成網(wǎng)絡(luò)和切片生成網(wǎng)絡(luò)的作用下沿著螺旋曲線方向在四周逐步生長(zhǎng)，每次外推上下左右四個(gè)方向的某一個(gè)邊，直至外推成完整圖像，因?yàn)榧傧雸D生成網(wǎng)絡(luò)、切片生成網(wǎng)絡(luò)、螺旋辨別器、外推辨別器的網(wǎng)絡(luò)結(jié)構(gòu)和相應(yīng)的目標(biāo)損失函數(shù)設(shè)計(jì)，使得螺旋生成的外推區(qū)域較為真實(shí)，且與原始子圖像在結(jié)構(gòu)、紋理上可以保持一致，符合人類想象。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像外推技術(shù)領(lǐng)域，尤其涉及一種基于螺旋生成網(wǎng)絡(luò)的高質(zhì)量圖像外推系統(tǒng)。

背景技術(shù)

假設(shè)給定一張子圖像(比如人臉的部分圖像)，當(dāng)人們被要求繪制完整圖像時(shí)該如何做？實(shí)際上，盡管周圍區(qū)域無法看到，但人類可以根據(jù)先驗(yàn)知識(shí)初步想象整幅圖像的樣子，然后根據(jù)想象內(nèi)容，沿圖像周圍由內(nèi)向外逐步繪制出。在計(jì)算機(jī)視覺中，此類問題被稱為圖像外推。圖像外推的目的是將輸入子圖像周圍不可見區(qū)域填充內(nèi)容，例如依據(jù)對(duì)象(如人臉、車)的部分圖像將完整對(duì)象繪制出，或擴(kuò)展場(chǎng)景圖像的內(nèi)容邊界。圖像外推問題主要具有兩項(xiàng)挑戰(zhàn)：

1、外推圖像須具有語義合理性，且外推部分需具有特定準(zhǔn)確語義內(nèi)容；

2、外推區(qū)域須與原始輸入子圖像在結(jié)構(gòu)與紋理上保持一致。

即使對(duì)人類來說，圖像外推也是一項(xiàng)具有挑戰(zhàn)的問題，在計(jì)算機(jī)視覺中，由于近年來對(duì)抗生成網(wǎng)絡(luò)的快速發(fā)展，圖像外推問題得以在此基礎(chǔ)上得到初步解決。目前基于對(duì)抗生成網(wǎng)絡(luò)的圖像外推方法首先生成整個(gè)完整圖像，再將原始輸入子圖像根據(jù)外推位置粘貼到完整圖像上，這種方法會(huì)使得最終的結(jié)果在輸入子圖像區(qū)域與外推區(qū)域之間產(chǎn)生視覺上的不適感。另外，由于外推區(qū)域與輸入子圖像之間的存在普遍的長(zhǎng)距離上下文關(guān)系，直接應(yīng)用圖像補(bǔ)全方法常常會(huì)導(dǎo)致產(chǎn)生語義不一致的模糊現(xiàn)象。

發(fā)明內(nèi)容

本發(fā)明提供一種基于螺旋生成網(wǎng)絡(luò)的高質(zhì)量圖像外推系統(tǒng)，解決的技術(shù)問題在于：目前基于對(duì)抗生成網(wǎng)絡(luò)的圖像外推方法，還未實(shí)現(xiàn)使得外推圖像具有語義合理性，且外推部分需具有特定準(zhǔn)確語義內(nèi)容，以及外推區(qū)域與原始輸入子圖像在結(jié)構(gòu)與紋理上保持一致。

為解決以上技術(shù)問題，本發(fā)明提供一種基于螺旋生成網(wǎng)絡(luò)的高質(zhì)量圖像外推系統(tǒng)，螺旋生成網(wǎng)絡(luò)包括假想圖生成網(wǎng)絡(luò)、切片生成網(wǎng)絡(luò)、螺旋辨別器和外推辨別器；

所述假想圖生成網(wǎng)絡(luò)包括假想圖生成器和假想圖辨別器，所述假想圖生成網(wǎng)絡(luò)用于在所述假想圖生成器、所述假想圖辨別器于假想圖目標(biāo)損失函數(shù)的對(duì)抗下，生成輸入子圖像的假想圖；

所述切片生成網(wǎng)絡(luò)包括切片算子、切片生成器、外推算子；所述切片算子用于將所述假想圖切出假想圖切片以及將當(dāng)前螺旋點(diǎn)的外推圖像切出最近鄰切片；所述切片生成器用于根據(jù)所述最近鄰切片、所述假想圖切片與所述輸入子圖像生成外推切片；所述外推算子用于將所述外推切片縫合回當(dāng)前螺旋點(diǎn)的外推圖像，得到下一螺旋點(diǎn)的外推圖像，如此完成一次次的螺旋外推；

所述螺旋辨別器和所述外推辨別器用于在螺旋損失目標(biāo)函數(shù)的對(duì)抗下，輸出多次螺旋外推后的目標(biāo)圖像。

進(jìn)一步地，所述假想圖目標(biāo)損失函數(shù)由第一對(duì)抗損失函數(shù)、色相-顏色損失函數(shù)、感知損失函數(shù)線性組合而成；所述色相-顏色損失函數(shù)的表達(dá)式為：

其中，是真實(shí)圖像Y的縮小圖像，是所述假想圖，h×w是真實(shí)圖像Y的尺寸，ξ與γ均為常數(shù)，γ＜1。

進(jìn)一步地，所述假想圖目標(biāo)損失函數(shù)的表達(dá)式為：

其中，分別表示所述第一對(duì)抗損失函數(shù)、所述感知損失函數(shù)，是用于平衡三類損失的權(quán)重；