[發(fā)明專利]一種基于生成對抗網(wǎng)絡的圖片合成方法

有效

• 申請?zhí)枺?/td>: 201811325648.0
• 申請日: 2018-11-08
• 公開（公告）號: CN109447906B
• 公開（公告）日: 2023-07-11
• 發(fā)明（設計）人: 解凱;何翊卿;李桐;李婷;孫磬宇
• 申請（專利權）人: 北京印刷學院
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/0475;G06N3/094
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗

1.一種基于生成對抗網(wǎng)絡的圖片合成方法，其特征在于，包括如下步驟：

(1)收集訓練需要的圖片，并制作兩個圖片的樣本集，其中一個圖片樣本集為風景圖片，另一個樣本集則為人物圖片，每個樣本集中的所有圖片應當包含某種相同的特征，它們被稱為一個域；

(2)構建并訓練生成對抗網(wǎng)絡，所述對抗網(wǎng)絡由特征提取器、解碼器、生成網(wǎng)絡以及判別網(wǎng)絡組成；其中特征提取器掃描并收集圖片的細節(jié)信息，識別圖片中的圖案，并將各樣本集中共有的圖案作為此樣本集圖片的基本特征，特征提取器可以從一個域中隨機抽取一張圖片，并將此張圖片中包含的特征提取出來并且用高維向量表示，這個高維向量包含所在域的共有特征和每張圖片中獨有的特征；解碼器用于對特征提取器的預訓練，它會根據(jù)特征提取器從某個域中提取的高維向量生成一副新的圖片，并保證生成圖片和原圖越相似越好，盡可能多的保留這個域圖片的特征,從而確保特征提取器從原圖片中提取足夠信息，之后當特征提取器訓練完成后，刪除解碼器；判別網(wǎng)絡根據(jù)生成網(wǎng)絡所生成的圖片，鑒別其中是否包含兩個域，同時學習兩個域中真實圖片的特征，然后衡量真實圖片和生成圖片之間的差距，引導對抗網(wǎng)絡產(chǎn)生具有兩個域特征的圖片；其中，特征提取器的卷積層和判別網(wǎng)絡的卷積層之間會共享參數(shù)；在訓練過程中，共享的參數(shù)會隨著判別器參數(shù)的更新而更新，但是在提取器的參數(shù)更新的過程中，共享的參數(shù)將會保持不變；生成網(wǎng)絡的作用是根據(jù)給定的信息生成一副全新的圖像，這個圖像要足夠真實，使判別網(wǎng)絡難以準確鑒別，它的輸入是由特征提取器提取出的兩個隱含變量h以及一個隨機采樣的高斯噪聲z組成的一個N維向量c，兩個隱含變量h用于保存從兩個域的圖片中提取的特征，它們長度相同，z用于給生成圖片添加更多隨機性，使生成圖像更加多樣化；

(3)對生成對抗網(wǎng)絡中各網(wǎng)絡層的參數(shù)進行初始化；

(4)對抗網(wǎng)絡的總損失由判別網(wǎng)絡給出的生成樣本與真實樣本之間的生成損失和隱含向量的重建損失構成，重建損失用于檢測特征提取器是否可以在原圖和生成圖片之間找到共同的特征向量，而生成損失用于衡量生成的圖片是否真實且含有某一域的特征，需要根據(jù)實際問題，選擇損失函數(shù)，然后依據(jù)選擇的損失函數(shù)計算重建損失、生成損失和判別損失，在反向傳播過程中計算對抗網(wǎng)絡的梯度；同時選擇優(yōu)化方法更新對抗網(wǎng)絡的參數(shù)；所述參數(shù)包括各網(wǎng)絡層的權重和偏置；

(5)訓練生成對抗網(wǎng)絡，記錄生成結果，保存網(wǎng)絡的參數(shù)，所述參數(shù)包括各層的權重、偏置以及網(wǎng)絡的整體結構；

(6)評價生成對抗網(wǎng)絡的生成結果，調整網(wǎng)絡超參數(shù)，所述超參數(shù)包括：網(wǎng)絡學習率、訓練周期數(shù)、隱含向量維度及特征圖數(shù)量；然后進行多次測試，最終得到所需的生成結果。