[發明專利]一種圖像數據集生成制作方法、裝置、設備及存儲介質

在審

• 申請號: 202011492987.5
• 申請日: 2020-12-16
• 公開（公告）號: CN112489168A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 張德浩
• 申請（專利權）人: 中國科學院長春光學精密機械與物理研究所
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06F16/951;G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 巴翠昆

本申請公開了一種圖像數據集生成制作方法、裝置、設備及存儲介質，該方法包括：制作包含多個真實圖像的初始圖像集；構建生成式對抗網絡中生成器與判別器的網絡結構；以初始圖像集為輸入，將變分自編碼器加入到生成式對抗網絡的整個訓練過程中，得到訓練好的VAE?GAN網絡模型；將圖像樣本輸入至訓練好的VAE?GAN網絡模型，得到與圖像樣本對應的圖像數據集。這樣將變分自編碼器與生成式對抗網絡相結合，通過綜合生成式對抗網絡與變分自編碼器的優點利用得到的VAE?GAN這一網絡模型，可以實現特征提取能力和圖像生成能力的結合，解決生成圖像錯誤和不清晰的問題，最終實現清晰和準確圖像的生成，提升圖像訓練樣本的數量和多樣性。

技術領域

本發明涉及圖像處理技術領域，特別是涉及一種圖像數據集生成制作方法、裝置、設備及存儲介質。

背景技術

現階段特定行業領域已有的圖像樣本較少，通過生成式模型對圖像訓練樣本進行增廣是一個前景廣闊的研究方向，同時生成式模型在人工智能領域占有重要地位，其可以在舊樣本分布的基礎上生成新的樣本數據。生成式模型的目的是創造新的數據概率分布，可用于一些創造性的工作當中。通過生成式模型可以生成新的圖像，成為了解決圖像樣本較少問題的有效方法。

現有的生成式模型大致分為三大類，即自回歸模型、自動編碼器模型和生成式對抗網絡(Generative Adversarial Networks，簡稱GAN)模型。其中，自回歸模型通過一次生成一個像素，最終生成整張圖像，耗時較長；變分自編碼器(Variational Auto-Encoder，簡稱VAE)生成的圖像經常失真，不清晰，較為模糊；生成式對抗網絡一次生成一張圖像，但由于是無監督學習，訓練自由度高，易于導致局部圖像錯誤，不清晰等情況，大部分生成圖像為錯誤圖像，不能與真實的輸入圖像樣本一致，在生成式對抗網絡的訓練過程中難度也較大。

因此，如何減少生成式模型生成的圖像失真、錯誤等情況，有效解決圖像樣本較少問題，是本領域技術人員亟待解決的技術問題。

發明內容

有鑒于此，本發明的目的在于提供一種圖像數據集生成制作方法、裝置、設備及存儲介質，可以生成清晰和準確的圖像，提升圖像訓練樣本的數量和多樣性。其具體方案如下：

一種圖像數據集生成制作方法，包括：

制作包含多個真實圖像的初始圖像集；

構建生成式對抗網絡中生成器與判別器的網絡結構；

以所述初始圖像集為輸入，將變分自編碼器加入到所述生成式對抗網絡的整個訓練過程中，得到訓練好的VAE-GAN網絡模型；

將圖像樣本輸入至訓練好的所述VAE-GAN網絡模型，得到與所述圖像樣本對應的圖像數據集。

優選地，在本發明實施例提供的上述圖像數據集生成制作方法中，制作包含多個真實圖像的初始圖像集，具體包括：

通過網絡爬蟲技術采集目標的原始圖像；

對采集到的所述原始圖像進行預處理，將所有所述原始圖像調整為分辨率和大小均相同的三通道彩色真實圖像；

將調整得到的所述真實圖像制作成初始圖像集。

優選地，在本發明實施例提供的上述圖像數據集生成制作方法中，構建生成式對抗網絡中生成器與判別器的網絡結構，具體包括：

在所述生成器中采用七層反卷積神經網絡；所述反卷積神經網絡使用5*5的反卷積核，在每一層所述反卷積層后加入relu激活函數；

在所述判別器中采用七層卷積神經網絡；所述卷積神經網絡使用5*5的卷積核，在每一層所述卷積層后加入lrelu激活函數，使用卷積前后特征圖大小相同的填充方式，同時加入最大池化操作。