[發明專利]一種基于遠程相關注意力生成對抗網絡的文本生成圖像方法

在審

• 申請號: 202011217830.1
• 申請日: 2020-11-04
• 公開（公告）號: CN112489152A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 全哲;陳楊陽;王梓旭
• 申請（專利權）人: 湖南大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/04
• 代理公司: 深圳市興科達知識產權代理有限公司 44260
• 代理人: 殷瑜

本發明公開了一種基于遠程相關注意力生成對抗網絡的文本生成圖像方法，本發明使用遠程依賴注意生成的可逆對抗網絡(LRDAGAN)。將遠程依賴學習納入了生成過程，更具體地說，將生成器的特征圖解析為幾個部分，并使用詞級特征增強這些部分的語義一致性且進一步改善了以往廣泛使用的方法，以便更好地指導圖片生成，使得本發明不僅可以生成高質量圖像，而且還可以生成更好的語義一致性圖像。

技術領域：

本發明涉及文字處理技術領域，尤其涉及一種基于遠程相關注意力生成對抗網絡的文本生成圖像方法。

背景技術：

3、根據文字描述生成一張與其語義對應并符合現實情況的圖片涉及多個方面的問題，首先需要根據自然語言處理方面的知識來處理文字描述，接下來在生成對應圖片時又需要使用計算機視覺的有關技術。目前現存的技術方法大多都是分為兩個部分來實現文字生成圖片的效果：

1.文字編碼，文字編碼部分分別利用兩個神經網絡來處理文字與圖片，通過網絡不斷學習將其映射至同一個向量空間。比如在AttnGAN網絡中，使用了一個圖片處理中常用的CNN卷積神經網絡網絡獲取圖片特征，一個自然語言處理中常用的LSTM長短記憶網絡來處理文字信息，接著通過優化指定的損失函數來提高兩者之間的相似度，使得文字所表達的語義能與生成的圖片的信息更加統一。

2.生成圖片，通過步驟一將文字信息進行編碼后，用向量的模式表示文字信息，作為GAN對抗生成網絡的輸入，網絡的輸出為對應的圖片。經過不斷的迭代訓練，不斷優化網絡參數，最終得到一個根據輸入的語義信息生成對應圖片的圖片生成模型。

雖然訓練的模型可以生成文字對應的圖片，但想的文本到圖像算法通常需要同時滿足三個關鍵要求(真實性，多樣性和語義一致性)。在許多圖像生成工作中已經討論了如何前兩個要求。但是，第三個要求更具挑戰性，因為它要求模型具有從文字特征到視覺實體的跨模態翻譯能力。AttnGAN可以生成字面上可理解的圖像。它通過注意重要單詞來合成圖像的細粒度細節，然后通過多層卷積網絡對細節進行細化和擴展。盡管，AttnGAN中堆疊卷積層會產生較大的接收范圍，并將文本修飾的細節擴展到較大的區域，但是很難有效地在圖像中建立長期依賴關系。這種遠距離的關系在視覺上至關重要。因為人可以在潛意識中識別許多事物，例如物體是否對稱。

具體的，文本到圖像生成(基于給定的描述性句子生成圖像)是一項艱巨的任務。它不僅需要視覺質量，還需要生成圖像的語義一致性。先前的作品顯示了在生成高質量和語義一致性圖像方面的顯著進步，這歸因于基于注意力的Generative AdversarialNetworks。但是，他們使用的關注層主要集中在完善像素級特征上，而忽略了特征圖中遠程依賴的強大作用。

總的來說，現有的文本生成圖像方法都存在一定程度的局限性，難以推廣運用。

名詞解釋：

Fca向量：通過條件增強方法后生成的向量。

NULL：空值。

LRDAttn：遠程相關注意力生成對抗網絡。

DAMSM：深層注意多模態相似模型(deep attentional multimodal similaritymodel)。

生成對抗網絡(英語：Generative Adversarial Network，簡稱GAN)：是非監督式學習的一種方法，通過讓兩個神經網絡相互博弈的方式進行學習。該方法于2014年提出。生成對抗網絡由一個生成網絡與一個判別網絡組成。生成網絡從潛在空間(latent space)中隨機取樣作為輸入，其輸出結果需要盡量模仿訓練集中的真實樣本。判別網絡的輸入則為真實樣本或生成網絡的輸出，其目的是將生成網絡的輸出從真實樣本中盡可能分辨出來。而生成網絡則要盡可能地欺騙判別網絡。兩個網絡相互對抗、不斷調整參數，最終目的是使判別網絡無法判斷生成網絡的輸出結果是否真實。

發明內容：