[發(fā)明專利]圖像修復(fù)系統(tǒng)及其圖像修復(fù)方法

在審

• 申請?zhí)枺?/td>: 202210023373.5
• 申請日: 2022-01-10
• 公開（公告）號: CN114359105A
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計）人: 賴振楠
• 申請（專利權(quán)）人: 深圳宏芯宇電子股份有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 深圳市嘉勤知識產(chǎn)權(quán)代理有限公司 44651
• 代理人: 劉自麗

本發(fā)明提供一種圖像修復(fù)系統(tǒng)及其圖像修復(fù)方法，該圖像修復(fù)系統(tǒng)包括圖像輸入預(yù)處理模塊、圖像修復(fù)模塊以及圖像輸出模塊，其中，圖像輸入模塊，用于將待修復(fù)圖像輸入到圖像修復(fù)模塊中；圖像修復(fù)模塊，用于構(gòu)建一個包括生成器與判別器的對抗性神經(jīng)網(wǎng)絡(luò)，且對該對抗性神經(jīng)網(wǎng)絡(luò)進(jìn)行引入感知損失函數(shù)的預(yù)設(shè)訓(xùn)練，以通過預(yù)設(shè)訓(xùn)練后的對抗性神經(jīng)網(wǎng)絡(luò)對待修復(fù)圖像進(jìn)行圖像修復(fù)，生成已修復(fù)圖像；圖像輸出模塊，用于輸出圖像修復(fù)模塊生成的已修復(fù)圖像。藉此，可在圖像修復(fù)過程中提升其對抗性神經(jīng)網(wǎng)絡(luò)的生成分布細(xì)節(jié)復(fù)原能力，使得本圖像修復(fù)系統(tǒng)的圖像修復(fù)效果更佳。

技術(shù)領(lǐng)域

本發(fā)明涉及一種圖像修復(fù)技術(shù)，且尤其涉及一種圖像修復(fù)系統(tǒng)及其圖像修復(fù)方法。

背景技術(shù)

作為圖像處理技術(shù)的一種，圖像修復(fù)技術(shù)旨在根據(jù)圖像上下文對圖像丟失或遮擋部分進(jìn)行修補(bǔ)，修復(fù)任務(wù)要求修復(fù)后的圖像整體盡可能自然并與原圖盡可能地接近。通過圖像修復(fù)技術(shù)，我們可以去除圖像中的一些噪聲、劃痕、缺失以及遮擋，提高圖像質(zhì)量；并進(jìn)一步通過圖像先驗(yàn)信息，進(jìn)一步挖掘圖像隱含信息，為其他圖像處理及計算機(jī)視覺方法提供支持。

隨著基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)憑借其對圖像底層特征的理解以及圖像高層語義特征的抽象能力，在圖像分割、目標(biāo)檢測等任務(wù)中表現(xiàn)出了優(yōu)異的結(jié)果，在諸多相關(guān)比賽中獲取最佳成績。現(xiàn)有對抗生成神經(jīng)網(wǎng)絡(luò)(Generative AdversarialNet，GAN)作為圖像修復(fù)技術(shù)的一種，其主要通過卷積神經(jīng)網(wǎng)絡(luò)作為生成模型來訓(xùn)練生成圖像，通過另一個卷積神經(jīng)網(wǎng)絡(luò)作為判別器輔助訓(xùn)練，其用于區(qū)分圖像是由網(wǎng)絡(luò)產(chǎn)生還是真實(shí)的。訓(xùn)練發(fā)生器網(wǎng)絡(luò)以欺騙鑒別器網(wǎng)絡(luò)，同時鑒別器網(wǎng)絡(luò)并行更新，通過不斷的極大極小化博弈訓(xùn)練，最終可以生成非常接近于真實(shí)圖像的生成圖像，達(dá)到圖像修復(fù)的目的。然而，現(xiàn)有的使用對抗生成神經(jīng)網(wǎng)絡(luò)的圖像修復(fù)系統(tǒng)，由于其對抗生成神經(jīng)網(wǎng)絡(luò)的生成分布細(xì)節(jié)復(fù)原能力欠佳，導(dǎo)致其圖像修復(fù)效果不佳。

發(fā)明內(nèi)容

本發(fā)明提供一種圖像修復(fù)系統(tǒng)及其圖像修復(fù)方法，旨在解決現(xiàn)有圖像修復(fù)系統(tǒng)中，其對抗生成神經(jīng)網(wǎng)絡(luò)的生成分布細(xì)節(jié)復(fù)原能力欠佳，導(dǎo)致其圖像修復(fù)效果不佳的技術(shù)問題。

本發(fā)明的實(shí)施例提供一種圖像修復(fù)系統(tǒng)，所述圖像修復(fù)系統(tǒng)包括圖像輸入模塊、圖像修復(fù)模塊以及圖像輸出模塊，其中，

所述圖像輸入模塊，用于將待修復(fù)圖像輸入到所述圖像修復(fù)模塊中；

所述圖像修復(fù)模塊，用于構(gòu)建一個包括生成器與判別器的對抗性神經(jīng)網(wǎng)絡(luò)，且對所述對抗性神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)設(shè)訓(xùn)練，以通過預(yù)設(shè)訓(xùn)練后的所述對抗性神經(jīng)網(wǎng)絡(luò)對所述待修復(fù)圖像進(jìn)行圖像修復(fù)，生成已修復(fù)圖像；

所述圖像輸出模塊，用于輸出所述圖像修復(fù)模塊生成的已修復(fù)圖像；

所述預(yù)設(shè)訓(xùn)練包括以下步驟：

基于輸入的模糊圖像，通過所述生成器生成對應(yīng)的樣本圖像，并輸出給所述判別器；

基于輸入的所述樣本圖像與相應(yīng)的清晰圖像，一方面直接計算其內(nèi)容上的損失，得到感知損失函數(shù)，另一方面在所述判別器對所述樣本圖像進(jìn)行真/假判別時，對所述樣本圖像產(chǎn)生的損失進(jìn)行計算，得到對抗損失函數(shù)；

將所述感知損失函數(shù)及所述對抗損失函數(shù)均反饋給所述生成器，以通過所述生成器不斷調(diào)整所述對抗性神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，使得所述對抗性神經(jīng)網(wǎng)絡(luò)在每一次迭代中逐漸生成清晰圖像。

本發(fā)明的實(shí)施例還提供一種圖像修復(fù)系統(tǒng)的圖像修復(fù)方法，所述圖像修復(fù)方法應(yīng)用于上述的圖像修復(fù)系統(tǒng)中，所述圖像修復(fù)方法包括以下步驟：

將輸入的待修復(fù)圖像置于通過預(yù)設(shè)訓(xùn)練后的所述對抗性神經(jīng)網(wǎng)絡(luò)的所述生成器中；

通過所述生成器對所述待修復(fù)圖像進(jìn)行圖像修復(fù)處理，生成已修復(fù)圖像后，輸出所述已修復(fù)圖像。