[發(fā)明專利]基于生成對抗網(wǎng)絡(luò)的缺陷數(shù)據(jù)合成方法

有效

• 申請?zhí)枺?/td>: 202010193827.4
• 申請日: 2020-03-18
• 公開（公告）號: CN111415316B
• 公開（公告）日: 2020-11-17
• 發(fā)明（設(shè)計）人: 李博;袁雪;史銘翰
• 申請（專利權(quán)）人: 山西安數(shù)智能科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/13;G06T7/194;G06N3/08;G06N3/04
• 代理公司: 太原中正和專利代理事務(wù)所(普通合伙) 14116
• 代理人: 焦進(jìn)宇

本發(fā)明屬于缺陷數(shù)據(jù)合成算法技術(shù)領(lǐng)域，具體技術(shù)方案為：基于生成對抗網(wǎng)絡(luò)的缺陷數(shù)據(jù)合成方法，具體步驟如下：一、基于現(xiàn)有樣本，使用深度卷積生成對抗網(wǎng)絡(luò)生成缺陷前景；二、對于不同的背景圖片，使用基于顏色和紋理的gPb?UCM分割算法確定缺陷前景放置的區(qū)域位置S集合；三、對步驟二得到的S集合中隨機選擇一個區(qū)域R，并通過深度預(yù)測算法得到對應(yīng)的透視變化矩陣M；四、從步驟一生成的缺陷前景數(shù)據(jù)庫中隨機選取，并利用邊緣提取算法得到Mask圖像；五、利用透視變化矩陣M對Mask圖像進(jìn)行透視變換，并對變換后的缺陷前景添加顏色信息；六、使用泊松圖像融合技術(shù)將缺陷前景與背景圖片融合，合成新的圖片；成本低，真實度高。

技術(shù)領(lǐng)域

本發(fā)明屬于缺陷數(shù)據(jù)合成算法技術(shù)領(lǐng)域，具體涉及一種基于生成對抗網(wǎng)絡(luò)的缺陷數(shù)據(jù)合成方法。

背景技術(shù)

隨著近些年來深度學(xué)習(xí)的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)在各種任務(wù)上(分類、目標(biāo)檢測、實例分割)取得了革命性的突破，深度神經(jīng)網(wǎng)絡(luò)在有充足標(biāo)簽樣本為訓(xùn)練數(shù)據(jù)的前提下可以達(dá)到很高的準(zhǔn)確度。但是往往在一些場景下，有標(biāo)簽的數(shù)據(jù)難以收集或者獲取這些數(shù)據(jù)成本高昂，費時費力。當(dāng)數(shù)據(jù)不足時，神經(jīng)網(wǎng)絡(luò)很難穩(wěn)定訓(xùn)練并且泛化能力較弱。

如何在小規(guī)模數(shù)據(jù)集上有效的訓(xùn)練神經(jīng)網(wǎng)絡(luò)成為當(dāng)下的一個研究熱點，目前常見的方法為數(shù)據(jù)增強。傳統(tǒng)的數(shù)據(jù)增強算法是以仿射變換為基礎(chǔ)的——例如旋轉(zhuǎn)、縮放、平移等，以及一些簡單的圖像處理手段——例如光照色彩變換、對比度變換、添加隨機噪聲(高斯噪聲、椒鹽噪聲)等。這些變化的前提是不改變圖像的類別屬性，并且只能局限在圖像域。這種基于幾何變換和圖像操作的數(shù)據(jù)增強方法可以在一定程度上緩解神經(jīng)網(wǎng)絡(luò)過擬合的問題，提高泛化能力。但是相比和原始數(shù)據(jù)而言，增加的數(shù)據(jù)并沒有從根本上解決數(shù)據(jù)不足的難題；同時，這種數(shù)據(jù)增強方式需要人為設(shè)定轉(zhuǎn)換函數(shù)和對應(yīng)的參數(shù)，一般都是憑借經(jīng)驗知識，最優(yōu)數(shù)據(jù)增強難以實現(xiàn)，所以模型的泛化性能提升有限。

而圖像合成技術(shù)可以使生成的圖像更加真實、多樣和滿足輸入條件，從真正意義上擴(kuò)充了數(shù)據(jù)域，增加模型的魯棒性。最近興起的生成對抗網(wǎng)絡(luò)(Generative AdversarialNetwork，GAN)，由于其出色的性能引起了人們的廣泛關(guān)注，這種方法相比于傳統(tǒng)的數(shù)據(jù)增強技術(shù)雖然過程更加復(fù)雜，但是生成的樣本更加具有真實性與多樣性。

但是，目前對于基于生成對抗式網(wǎng)絡(luò)的圖像合成算法還存在著很多挑戰(zhàn)，尤其是針對于大分辨圖片來說，網(wǎng)絡(luò)訓(xùn)練不易收斂且合成圖片噪聲大。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)存在的技術(shù)問題，本發(fā)明方法將生成對抗網(wǎng)絡(luò)與傳統(tǒng)圖片處理技術(shù)相融合，既利用了深度神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)能力，增加缺陷前景的多樣性，又通過傳統(tǒng)圖像處理方法的穩(wěn)定性，克服了傳送帶角度和光照的變化問題，使得合成圖片更加真實穩(wěn)定。

為實現(xiàn)上述目的，本發(fā)明所采用的技術(shù)方案為：基于生成對抗網(wǎng)絡(luò)的缺陷數(shù)據(jù)合成方法，具體步驟如下：

一、基于現(xiàn)有樣本，使用深度卷積生成對抗網(wǎng)絡(luò)生成缺陷前景；

二、對于不同的背景圖片，使用基于顏色和紋理的gPb-UCM分割算法確定缺陷前景放置的區(qū)域位置S集合；

三、對步驟二得到的S集合中隨機選擇一個區(qū)域R，并通過基于全卷積神經(jīng)網(wǎng)絡(luò)的深度預(yù)測算法得到該區(qū)域?qū)?yīng)的透視變化矩陣M；

四、從步驟一生成的缺陷前景數(shù)據(jù)庫中隨機選取，并利用邊緣提取算法得到缺陷前景的Mask圖像：首先使用泛洪填充算法去除背景，再利用Canny邊緣檢測保留邊緣內(nèi)的像素值，提取缺陷Mask；

五、利用透視變化矩陣M對Mask圖像進(jìn)行透視變換，并對變換后的缺陷前景添加顏色信息；

六、使用泊松圖像融合技術(shù)將缺陷前景與背景圖片融合，合成新的圖片，同時生成新的標(biāo)注信息；至此，一張新的缺陷樣本合成完成。