[發明專利]基于生成對抗網絡的場景圖像生成方法和裝置

在審

• 申請號: 202011181870.5
• 申請日: 2020-10-29
• 公開（公告）號: CN112288831A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 邢萌;于淼淼;李碩豪;石志強;楊朝紅;王青海;趙萌;金麗亞;畢建權;陳財森
• 申請（專利權）人: 中國人民解放軍陸軍裝甲兵學院
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/08;G06N3/04;G06K9/62
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

1.一種基于生成對抗網絡的場景圖像生成方法，其特征在于，包括：

獲取當前文本信息；

提取所述當前文本信息中的文本特征；

提取所述當前文本信息中的場景圖特征；

對所述場景圖特征和文本特征進行特征融合，生成融合特征；

將所述融合特征輸入到預先訓練的場景圖像生成模型中，生成對應的場景圖像。

2.根據權利要求1所述的基于生成對抗網絡的場景圖像生成方法，其特征在于，在所述獲取當前文本信息后，還包括：

對所述當前文本信息進行預處理，具體包括：將簡寫轉為全寫，和/或將大寫字母轉為小寫字母，和/或將單詞映射為數值。

3.根據權利要求2所述的基于生成對抗網絡的場景圖像生成方法，其特征在于，所述提取所述當前文本信息中的文本特征，包括：

使用詞向量模型Skip-Gram來表達單詞，將每個單詞映射到高維空間中，生成詞向量，對所述詞向量進行非線性變換，生成與所述文本信息對應的高維句子特征向量，并對所述高緯句子特征向量進行重要性加權處理，生成所述當前文本信息中的文本特征。

4.根據權利要求1至3任一項所述的基于生成對抗網絡的場景圖像生成方法，其特征在于，提取所述當前文本信息中的場景圖特征，包括：

將所述當前文本信息轉換成場景圖，場景圖是一種數據結構，其中每個節點代表一個對象，連接對象之間的邊代表所屬關系，使用詞嵌入技術Skip-Gram網絡將場景圖中的所有對象以及對象之間的所屬關系轉換為嵌入向量。

5.根據權利要求4所述的基于生成對抗網絡的場景圖像生成方法，其特征在于，還包括：

利用圖注意網絡提取所述嵌入向量的對象與對象之間的注意力系數，定義為：

w_ij＝δ(f[O_i,R_k,O_j])

式中，w_ij(w_ij∈Rs×t)表示場景圖的任意邊(O_i,R_k,O_j)中對象O_j對對象O_i的貢獻率，矩陣f的作用是將場景圖中所有對象及關系向量集轉換為更高級的特征向量，使其具有更強的表達能力，δ:R^3Q→R，[O_i,R_k,O_j]是對O_i，R_k，O_j進行拼接處理的操作，每個對象節點的輸出描述為其與其他對象的加權和的形式：

6.根據權利要求5所述的基于生成對抗網絡的場景圖像生成方法，其特征在于，還包括確定判別器的損失函數的過程，具體包括：

將生成的場景圖像和真實的場景圖像經過下采樣后得到的張量和文本特征向量進行拼接，再經過卷積層得到對應的概率分布，根據所述概率分布，確定判別器的損失函數。

7.根據權利要求5所述的基于生成對抗網絡的場景圖像生成方法，其特征在于，所述場景圖像生成模型的損失函數為：

Loss_S＝Loss_G+Loss_F+Loss_I，其中，Loss_G＝H(D(F_g,T_t),1)為生成器的損失函數，為像素級信息誤差損失函數，為特征誤差匹配損失函數。

8.一種基于生成對抗網絡的場景圖像生成裝置，其特征在于，包括：

當前文本信息獲取模塊，用于獲取當前文本信息；

文本特征提取模塊，用于提取所述當前文本信息中的文本特征；

場景圖特征提取模塊，用于提取所述當前文本信息中的場景圖特征；

融合特征生成模塊，用于對所述場景圖特征和文本特征進行特征融合，生成融合特征；

場景圖像生成模塊，用于將所述融合特征輸入到預先訓練的場景圖像生成模型中，生成對應的場景圖像。