[發(fā)明專利]基于生成對(duì)抗網(wǎng)絡(luò)的圖像去馬賽克方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910804744.1
• 申請(qǐng)日: 2019-08-28
• 公開(kāi)（公告）號(hào): CN110634103A
• 公開(kāi)（公告）日: 2019-12-31
• 發(fā)明（設(shè)計(jì)）人: 侯春萍;黃丹陽(yáng);楊陽(yáng)
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06N3/04;G06N3/08
• 代理公司: 12201 天津市北洋有限責(zé)任專利代理事務(wù)所
• 代理人: 劉國(guó)威

本發(fā)明屬于圖像處理、深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)領(lǐng)域，為利用深度學(xué)習(xí)算法中的生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)字圖像的馬賽克去除，提升數(shù)字圖像的視覺(jué)質(zhì)量。為此，本發(fā)明，基于生成對(duì)抗網(wǎng)絡(luò)的圖像去馬賽克方法，步驟如下：(1)數(shù)據(jù)集的構(gòu)建；(2)加入馬賽克；(3)構(gòu)建生成對(duì)抗網(wǎng)絡(luò)模型；(4)訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)；(5)利用訓(xùn)練好的網(wǎng)絡(luò)處理圖像。本發(fā)明主要應(yīng)用于圖像處理場(chǎng)合。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理、深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)領(lǐng)域，涉及基于自然圖像恢復(fù)的檢測(cè)和識(shí)別等相關(guān)應(yīng)用。具體講,涉及基于生成對(duì)抗網(wǎng)絡(luò)的圖像去馬賽克方法。

背景技術(shù)

信息技術(shù)飛速發(fā)展的今天，數(shù)字圖像已經(jīng)逐漸成為網(wǎng)絡(luò)社交以及技術(shù)應(yīng)用中最為普遍的信息載體之一。光學(xué)傳感器價(jià)格低廉，性能優(yōu)越，體積小巧，功耗往往較低。這些得天獨(dú)厚的優(yōu)勢(shì)使得光學(xué)傳感器很方便被放置于各種環(huán)境中，采集到的大量數(shù)字圖像可以為種種應(yīng)用提供支持。但是由于民用級(jí)別的光學(xué)傳感器質(zhì)量參差不齊，由于細(xì)節(jié)的缺失往往會(huì)出現(xiàn)數(shù)字圖像中的馬賽克；另一方面，互聯(lián)網(wǎng)技術(shù)飛速發(fā)展，個(gè)人信息日益敏感，互聯(lián)網(wǎng)中雖然存在著大量包含潛在信息的數(shù)字圖像，但是由于用戶常常利用馬賽克來(lái)遮蓋照片中的有用信息，導(dǎo)致這些圖像質(zhì)量低下，無(wú)法支持一系列基于圖像的應(yīng)用。因此，去除數(shù)字圖像的馬賽克，提升圖像的視覺(jué)質(zhì)量，得到清晰、細(xì)節(jié)豐富的圖像對(duì)于各種應(yīng)用都是尤為重要的。

以往的圖像去馬賽克算法往往基于圖像的概率先驗(yàn)?zāi)Ｐ停蛘呋跒V波的方法在各種變換域中對(duì)圖像進(jìn)行處理，實(shí)現(xiàn)馬賽克的去除和圖像的恢復(fù)。然而傳統(tǒng)算法的建模方式不夠完善，馬賽克去除效果并不高，并且在去除馬賽克的同時(shí)會(huì)丟失圖像的一部分高頻信息，使得圖像出現(xiàn)大面積的模糊。

深度學(xué)習(xí)技術(shù)在近幾年獲得了飛速發(fā)展，在圖像識(shí)別、目標(biāo)檢測(cè)以及語(yǔ)音處理上取得了顯著成就。生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)是深度學(xué)習(xí)算法中的一種新型的網(wǎng)絡(luò)，它的設(shè)計(jì)靈感來(lái)源于二元零和博弈過(guò)程。生成對(duì)抗網(wǎng)絡(luò)利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)構(gòu)建出兩個(gè)部分：生成器和判別器，兩者進(jìn)行對(duì)抗式訓(xùn)練從而學(xué)習(xí)到數(shù)據(jù)的分布，實(shí)現(xiàn)圖像轉(zhuǎn)換或者合成任務(wù)。

[1]Isola P,Zhu J Y,Zhou T,et al.Image-to-Image Translation withConditional Adversarial Networks[J].2016.

[2]Zhou R,Achanta R,Süsstrunk S.Deep Residual Network for JointDemosaicing and Super-Resolution[J].arXiv preprint arXiv:1802.06573,2018.

[3]Goodfellow I,Pouget-Abadie J,Mirza M,et al.Generative adversarialnets[C]//Advances in neural information processing systems.2014:2672-2680。

發(fā)明內(nèi)容

為克服現(xiàn)有技術(shù)的不足，本發(fā)明旨在利用深度學(xué)習(xí)算法中的生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)字圖像的馬賽克去除，提升數(shù)字圖像的視覺(jué)質(zhì)量。為此，本發(fā)明采用的技術(shù)方案是，基于生成對(duì)抗網(wǎng)絡(luò)的圖像去馬賽克方法，步驟如下：

(1)數(shù)據(jù)集的構(gòu)建：選取ImageNet數(shù)據(jù)集作為生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練，在ImageNet數(shù)據(jù)集中隨機(jī)挑選m個(gè)種類的圖像，每個(gè)種類隨機(jī)挑選n張圖像作為訓(xùn)練數(shù)據(jù)，每個(gè)類別n張圖像以外的圖像作為測(cè)試數(shù)據(jù)，構(gòu)建出數(shù)據(jù)集；

(2)馬賽克的加入：利用Matlab在10000張訓(xùn)練圖像上隨機(jī)位置上加入馬賽克，馬賽克的大小和程度都隨機(jī)選取；