[發(fā)明專利]一種基于生成對抗網絡的文本到圖像生成方法

有效

• 申請?zhí)枺?/td>: 202010046540.9
• 申請日: 2020-01-16
• 公開（公告）號: CN111260740B
• 公開（公告）日: 2023-05-23
• 發(fā)明（設計）人: 田安捷;陸璐
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T9/00
• 分類號: G06T9/00
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 陳宏升

1.一種基于生成對抗網絡的文本到圖像生成方法，其特征在于，包括以下步驟：

1）向網絡中輸入一段文本描述，根據(jù)文本描述生成單詞特征矩陣和句子特征向量；

2）向句子特征向量添加條件和噪聲向量，獲得圖像特征矩陣；

3）計算圖像特征的單詞上下文矩陣；

4）利用圖像特征矩陣和單詞上下文矩陣在生成對抗網絡中進行計算，分三個階段逐步生成越來越高分辨率的圖像；

5）根據(jù)生成的圖像獲取本地圖像特征矩陣；

6）評估生成圖像和文本描述的相似度，優(yōu)化下一次圖像生成；

所述步驟4），具體如下：

4.1）將圖像特征矩陣輸入第一層生成對抗網絡中，得到一次優(yōu)化后的圖像特征矩陣，對其進行3x3卷積輸出64*64分辨率的圖像；

4.2）將一次優(yōu)化后的圖像特征矩陣和單詞上下文矩陣輸入第二層生成對抗網絡中，得到二次優(yōu)化后的圖像特征矩陣，對其進行3x3卷積輸出128*128分辨率的圖像；

4.3）對圖像特征矩陣添加注意力機制，加強圖像的重點子區(qū)域，削弱圖像的不重要區(qū)域，再利用步驟3）更新單詞上下文矩陣；

4.4）將二次優(yōu)化后的圖像特征矩陣和更新后的單詞上下文矩陣輸入第三層生成對抗網絡中，得到最終的圖像特征矩陣，對其進行3x3卷積輸出256*256分辨率的圖像。

2.根據(jù)權利要求1所述基于生成對抗網絡的文本到圖像生成方法，其特征在于，步驟1）中，所述文本描述是對一個以上對象的屬性進行的描述，通過一個雙向長短期記憶網絡，將文本描述中每個單詞相對應的兩個隱藏狀態(tài)串聯(lián)起來，以表示單詞的語義；所述屬性包括種類、大小、數(shù)量、形狀、位置；所述兩個隱藏狀態(tài)，最后一個隱藏狀態(tài)所連接得到的是全局句子向量，其余隱藏狀態(tài)串聯(lián)得到的是單詞特征矩陣。

3.根據(jù)權利要求1所述基于生成對抗網絡的文本到圖像生成方法，其特征在于，所述步驟2），具體如下：

2.1）向句子特征向量添加條件形成條件增強，以增強訓練數(shù)據(jù)和避免過度擬合；

2.2）對條件增強拼接從標準正態(tài)分布采樣的噪聲向量，獲得圖像特征矩陣。

4.根據(jù)權利要求1所述基于生成對抗網絡的文本到圖像生成方法，其特征在于，步驟3）中，所述圖像特征的單詞上下文矩陣是利用步驟2）得到的圖像特征矩陣和步驟1）得到的單詞特征矩陣計算得到，所述圖像特征的單詞上下文矩陣的每一列表示與圖像的一個子區(qū)域相關聯(lián)的單詞上下文向量。

5.根據(jù)權利要求4所述基于生成對抗網絡的文本到圖像生成方法，其特征在于，所述圖像特征的單詞上下文矩陣是利用步驟2）得到的圖像特征矩陣和步驟1）得到的單詞特征矩陣計算得到，具體為：

首先通過添加新的感知器層將單詞特征轉換為圖像特征的公共語義空間；

然后計算圖像的第j個子區(qū)域對應第i個單詞的權重：其通過第j列圖像特征向量和第i列單詞特征向量乘積的歸一化計算得到；

之后通過計算每個單詞及與其對應的圖像子區(qū)域的權重的乘積和，得到一個圖像子區(qū)域的單詞上下文向量；單詞特征矩陣的每一個列向量對應著一個圖像子區(qū)域的單詞上下文向量。

6.根據(jù)權利要求1所述基于生成對抗網絡的文本到圖像生成方法，其特征在于，步驟5）中，所述根據(jù)生成的圖像獲取本地圖像特征矩陣，是通過圖像編碼器完成的；圖像編碼器是利用在ImageNet數(shù)據(jù)集上預先訓練好的Inception-v3模型，圖像編碼器本質上是一個卷積神經網絡。

7.根據(jù)權利要求1所述基于生成對抗網絡的文本到圖像生成方法，其特征在于，步驟6）中，所述評估生成圖像和文本描述的相似度的具體過程如下：

6.1）對本地圖像特征矩陣添加注意力機制，加強圖像的重點子區(qū)域，削弱圖像的不重要區(qū)域；

6.2）計算優(yōu)化后的本地圖像特征矩陣和單詞特征矩陣的余弦相似性，用來評估文本描述與生成圖像的相似度，以輔助生成對抗網絡中生成器的優(yōu)化。