[發(fā)明專利]生成式對抗網(wǎng)絡(luò)訓(xùn)練方法、圖像補(bǔ)全方法、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201910335424.6
• 申請日: 2019-04-24
• 公開（公告）號: CN110210514B
• 公開（公告）日: 2021-05-28
• 發(fā)明（設(shè)計(jì)）人: 楊剛;冀儉儉;楊猛
• 申請（專利權(quán)）人: 北京林業(yè)大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京太合九思知識產(chǎn)權(quán)代理有限公司 11610
• 代理人: 張愛;劉戈

本申請實(shí)施例提供一種生成式對抗網(wǎng)絡(luò)訓(xùn)練方法、圖像補(bǔ)全方法、設(shè)備及存儲介質(zhì)。在本申請一些示例性實(shí)施例中，首先，利用包含缺失區(qū)域的樣本圖像，進(jìn)行圖像補(bǔ)全訓(xùn)練，得到初步補(bǔ)全網(wǎng)絡(luò)和初步補(bǔ)全圖像；接著，利用初步補(bǔ)全圖像，進(jìn)行判別器訓(xùn)練，得到第一局部上下文判別器、第二局部上下文判別器和全局判別器；最后，利用包含缺失區(qū)域的樣本圖像，通過第一局部上下文判別器、第二局部上下文判別器和全局判別器聯(lián)合對初級補(bǔ)全網(wǎng)絡(luò)進(jìn)行對抗訓(xùn)練，得到圖像補(bǔ)全網(wǎng)絡(luò)；第一局部上下文判別器保持圖像補(bǔ)全的局部一致性，全局判別器保持圖像補(bǔ)全的全局一致性，第二局部上下文判別器保證紋理信息的真實(shí)性和與補(bǔ)全中心區(qū)域與周圍區(qū)域的一致性。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種生成式對抗網(wǎng)絡(luò)訓(xùn)練方法、圖像補(bǔ)全方法、設(shè)備及存儲介質(zhì)。

背景技術(shù)

圖像補(bǔ)全技術(shù)旨在合成圖像中缺失或損壞的區(qū)域，是低級視覺中的基本問題。該技術(shù)已經(jīng)引起了計(jì)算機(jī)視覺和圖形領(lǐng)域的廣泛興趣，因?yàn)樗梢杂糜谘a(bǔ)全被遮擋的圖像區(qū)域或修復(fù)受損的照片。此外，分享照片之前，用戶可能需要對圖像進(jìn)行修改，例如擦除分散注意力的場景元素，調(diào)整圖像中的對象位置以獲得更好的構(gòu)圖，或恢復(fù)遮擋圖像區(qū)域中的圖像內(nèi)容等。這些以及其他許多編輯操作都需要自動補(bǔ)全圖像缺失區(qū)域，這在過去的幾十年里一直是計(jì)算機(jī)視覺和圖形界的一個(gè)活躍的研究課題。

目前，由于該問題的固有模糊性和自然圖像的復(fù)雜性，為任意自然圖像合成具有合理細(xì)節(jié)的內(nèi)容仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。目前，如果人們希望修復(fù)圖像或者從圖像中刪除不期望的目標(biāo)時(shí)，經(jīng)常會選擇Adobe Photoshop和Corel Draw Pro等流行程序中的工具。然而，這些工具的修復(fù)功能并不完美，并且要求用戶具有熟練的操作能力。圖像補(bǔ)全技術(shù)面臨的難題是以視覺上合理的方式填補(bǔ)留下的空白。

在過去，主要采取從未損壞區(qū)域中找出現(xiàn)有的結(jié)構(gòu)或信息，以粘貼的方式進(jìn)行圖像補(bǔ)全。但是這種方法只有當(dāng)待補(bǔ)全的圖像具有很強(qiáng)的結(jié)構(gòu)性且各個(gè)區(qū)域的顏色等紋理信息具有很強(qiáng)的相似性時(shí)才能取得較好的效果。因此這種直接從周圍信息截取圖像塊的方法不具有通用性。

目前，深度學(xué)習(xí)得到了很大的發(fā)展。由于深度神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的學(xué)習(xí)能力，深度學(xué)習(xí)也被用于圖像補(bǔ)全中。通常的基于深度學(xué)習(xí)的圖像補(bǔ)全方法都是通過生成對抗網(wǎng)絡(luò)(Generate Adversial Network，GAN)完成。GAN中的生成器和判別器可以生成清晰且合理的紋理內(nèi)容。但是現(xiàn)有的基于GAN的圖像補(bǔ)全方法都具有較大的局限性。GAN采用編碼器解碼器結(jié)構(gòu)，其中中間的兩個(gè)完全連接層(Fully Connected Netwoek，F(xiàn)CN)作為連接兩個(gè)結(jié)構(gòu)的中間層，第一個(gè)FCN將具有空間維度的卷積特征映射成一維向量，另一個(gè)FCN將該一維向量向后映射到具有空間信息的特征上。這個(gè)過程丟失了圖像原有的空間信息；其次，判別器僅以合成區(qū)域作為輸入而不考慮合成區(qū)域的上下文信息。因此，已有的用GAN方法進(jìn)行圖像補(bǔ)全的結(jié)果不能保持圖像空間結(jié)構(gòu)和上下文信息的一致性。

發(fā)明內(nèi)容

本申請的多個(gè)方面提供一種生成式對抗網(wǎng)絡(luò)訓(xùn)練方法、圖像補(bǔ)全方法、設(shè)備及存儲介質(zhì)，在原始圖像缺失面積較大和缺失區(qū)域位于邊緣區(qū)域時(shí)，經(jīng)過圖像補(bǔ)全后的補(bǔ)全區(qū)域的紋理信息更加具有真實(shí)性，且保持與周圍區(qū)域的局部一致性。

本申請實(shí)施例提供一種圖像補(bǔ)全方法，適用于計(jì)算設(shè)備，所述方法包括：獲取待補(bǔ)全圖像，所述待補(bǔ)全圖像含有缺失區(qū)域；將所述待補(bǔ)全圖像輸入預(yù)先訓(xùn)練出的圖像補(bǔ)全網(wǎng)絡(luò)，利用所述圖像補(bǔ)全網(wǎng)絡(luò)對所述缺失區(qū)域進(jìn)行圖像補(bǔ)全，得到補(bǔ)全后的圖像；其中，所述圖像補(bǔ)全網(wǎng)絡(luò)是利用第一局部上下文判別器、第二局部上下文判別器和全局判別器進(jìn)行對抗訓(xùn)練得到的；所述第一局部上下文判別器保持圖像補(bǔ)全的局部一致性，所述第二局部上下文判別器保持圖像補(bǔ)全的中心一致性，所述全局判別器保持圖像補(bǔ)全的全局一致性。