[發明專利]一種基于深度學習的圖片生成方法及生成對抗網絡

有效

• 申請號: 201710346320.6
• 申請日: 2017-05-17
• 公開（公告）號: CN107220600B
• 公開（公告）日: 2019-09-10
• 發明（設計）人: 袁克虹;范宏偉;張生澤
• 申請（專利權）人: 清華大學深圳研究生院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 劉莉

技術領域

本發明涉及深度學習技術領域，特別是涉及一種基于深度學習的圖片生成方法及生成對抗網絡。

背景技術

面部表情是人類情緒狀態的最直觀反映，是傳遞人類身體狀態以及情感狀態的重要媒介，是除語言交流之外主要交流方式。在人機交互過程中，表情的生成無疑能夠為人們提供更便捷的溝通和服務。

深度學習作為目前機器學習的重要領域，在圖像識別、語音分析等方向都有著重要應用。深度學習由神經網絡演化而來，到目前為止，人們已經針對分類、檢測、識別等各類不同的問題設計了多種行之有效的網絡結構。其中在很多領域如人臉識別等已經超過了人眼識別的準確率。通俗地講，深度學習通過在大量的樣本中學習有價值的信息，從而得到了對目標分析判斷的能力。

生成對抗網絡(Generative Adversarial Network)是深度學習的一個分支。其目的是生成與真實數據非常相似的數據。通過生成對抗網絡，可以生成與訓練樣本具有同一性質但訓練樣本中沒有的數據。生成對抗網絡由生成網絡和判別網絡組成，生成網絡的輸入是隨機的噪聲信號，輸出是圖片。判別網絡的輸入是真實的圖片和生成網絡生成的圖片，輸出是圖片屬于真實圖片的概率。即生成網絡的作用是生成符合真實圖片分布的圖片，來欺騙判別網絡，而判別網絡的作用是分辨圖片是由生成網絡生成的還是真實圖片，最終的目的是使得生成網絡產生以假亂真的圖片。然而，生成對抗網絡盡管能夠產生近似真實的圖片，卻無法根據類別產生需要的圖片，這限制了生成對抗網絡的應用。

發明內容

為了彌補現有技術的不足，本發明提供一種基于深度學習的圖片生成方法及生成對抗網絡，其不僅可以生成圖片，而且可以指定要生成的圖片類別。

本發明的技術方案如下：

一種基于深度學習的圖片生成方法，包括如下步驟：

(1)建立圖片數據庫：收集若干真實圖片并對其進行分類和標注，每張圖片具有唯一與之對應的類別標簽k；

(2)構建生成網絡G：在所述生成網絡G中輸入隨機的噪聲信號z和類別標簽k組合而成的向量，將所述生成網絡G生成的數據作為判別網絡D的輸入；

(3)構建判別網絡D：所述判別網絡D的損失函數由用于判斷圖片真假的第一損失函數和用于判斷圖片類別的第二損失函數組成；

所述第一損失函數如下：

其中，為判別損失函數logD_T(x)的期望，為判別損失函數log(1-D_T(G(z)))的期望；判別網絡D有兩個輸出，一個為判斷圖片來源的輸出，即輸出真/假，設為D_T，另一個為判斷圖片類別的輸出，即輸出圖片屬于類別標簽k的概率，設為D_c；p_g表示真實圖片集x的分布；p_z(z)表示隨機的噪聲信號z的噪聲變量，用G(z；θ_g)將其映射到數據空間；生成網絡G由參數θ_g構成的；

所述第二損失函數如下：

其中，為分類損失函數log(D_c(x_k)_k)的期望，為分類損失函數log(D_c(G(z,c)_c＝k)_k)的期望；c表示類別標簽k的集合，D_c(x_k)_k表示屬于圖片的類別標簽k的x_k被判別網絡D判斷為k的概率，D_c(G(z,c)_c＝k)_k表示由生成網絡G產生的類別標簽為k的生成圖片由判別網絡D分為k的概率；

(4)訓練網絡：

(41)訓練所述判別網絡D來最大化其輸出屬于真實圖片或屬于生成網絡G生成的數據的概率；訓練所述判別網絡D來最大化

(42)訓練所述生成網絡G來最小化log(1-D_T(G(z)))；訓練所述生成網絡G來最大化

(5)生成需要的圖片：將隨機的的噪聲信號z和類別標簽k輸入到經過步驟(4)訓練好的生成網絡G中，得到指定類別的圖片。

優選地，所述步驟(41)具體包括如下步驟：