[發明專利]訓練生成對抗網絡的方法及生成圖像的方法

在審

• 申請號: 202010439945.9
• 申請日: 2020-05-22
• 公開（公告）號: CN111985608A
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 張智威;張哲瀚;余俊賢;陳思穎
• 申請（專利權）人: 宏達國際電子股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 李芳華

1.一種訓練生成對抗網絡(GAN)的方法，其中所述生成對抗網絡包括第一生成器、第二生成器、鑒別器以及預測網絡，其特征在于，所述方法包括：

利用所述第一生成器接收第一隨機輸入和第一類別指示且據以生成第一輸出圖像，其中所述第一生成器和所述第二生成器均表征為多個第一神經網絡權重，所述第一類別指示指示所述第一輸出圖像對應于第一類型類別，且所述第一類型類別具有可用訓練樣本；

利用所述預測網絡預測對應于所述第一輸出圖像的第一語義嵌入向量；

通過使所述第一語義嵌入向量與對應于所述第一類型類別的第二語義嵌入向量相比較來生成第一比較結果；

利用所述第二生成器接收第二隨機輸入和第二類別指示且據以生成第二輸出圖像，其中所述第二類別指示指示所述第二輸出圖像對應于第二類型類別；

利用所述預測網絡預測對應于所述第二輸出圖像的第三語義嵌入向量；

通過使所述第三語義嵌入向量與對應于所述第二類型類別的第四語義嵌入向量相比較來生成第二比較結果；

利用所述鑒別器經由在所述第一輸出圖像與屬于所述第一類型類別的至少一參考圖像之間進行區分來生成鑒別結果，其中所述鑒別器表征為多個第二神經網絡權重；

基于所述鑒別結果而更新所述第二神經網絡權重；

基于所述鑒別結果、所述第一比較結果以及所述第二比較結果而更新所述第一神經網絡權重。

2.根據權利要求1所述的訓練生成對抗網絡的方法，其中所述鑒別結果用于制定用于訓練所述鑒別器的第一損失函數以及用于訓練所述第一生成器和所述第二生成器的第二損失函數，且所述第二神經網絡權重在使所述第一損失函數最小化的情況下更新。

3.根據權利要求2所述的訓練生成對抗網絡的方法，其中所述第一比較結果用于制定第一語義損失函數，所述第二比較結果用于制定第二語義損失函數，且所述第一神經網絡權重在使總損失函數最小化的情況下更新，其中所述總損失函數表征為所述第二損失函數、所述第一語義損失函數以及所述第二語義損失函數。

4.根據權利要求1所述的訓練生成對抗網絡的方法，其中所述第一類別指示經定義為指示所述第一類型類別的第一獨熱向量或指示所述第一類型類別的第一特定語義嵌入向量。

5.根據權利要求1所述的訓練生成對抗網絡的方法，其中所述第二類別指示經定義為指示所述第二類型類別的第二獨熱向量或指示所述第二類型類別的第二特定語義嵌入向量。

6.根據權利要求1所述的訓練生成對抗網絡的方法，其中所述預測網絡為利用屬于所述第一類型類別的所述可用訓練樣本預先訓練的嵌入回歸網絡。

7.根據權利要求1所述的訓練生成對抗網絡的方法，其中所述第二類型類別不具有訓練樣本。

8.一種通過使用生成對抗網絡(GAN)生成圖像的方法，所述生成對抗網絡包括第一生成器和第二生成器，其特征在于，所述方法包括：

利用所述第一生成器接收第一隨機輸入和第一類別指示且據以生成第一輸出圖像，其中所述第一生成器和所述第二生成器均以多個第一神經網絡權重為特征，所述第一類別指示指示所述第一輸出圖像對應于第一類型類別；

利用所述第二生成器接收第二隨機輸入和第二類別指示且據以生成第二輸出圖像，其中所述第二類別指示指示所述第二輸出圖像對應于第二類型類別，且僅預先使用屬于所述第二類型類別的多個訓練樣本來訓練所述第一生成器和所述第二生成器。