[發(fā)明專利]一種自適應屬性和實例掩碼嵌入圖的文本到圖像生成方法

在審

• 申請?zhí)枺?/td>: 202010139353.5
• 申請日: 2020-03-03
• 公開（公告）號: CN111340907A
• 公開（公告）日: 2020-06-26
• 發(fā)明（設計）人: 倪建成;張素素
• 申請（專利權）人: 曲阜師范大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T9/00;G06F40/126;G06F40/30;G06F16/35;G06N3/04
• 代理公司: 溫州名創(chuàng)知識產權代理有限公司 33258
• 代理人: 陳加利

1.一種自適應屬性和實例掩碼嵌入圖的文本到圖像生成方法，其特征在于，所述方法包括以下步驟：

根據(jù)輸入的文本，使用預設的編碼器-解碼器結構的邊框回歸網(wǎng)絡來獲得所述文本中每個單詞對應的實例邊界框的位置和標簽信息，并整合所有實例生成的邊界框的位置和標簽信息，得到64×64、128×128及256×256語義布局；

根據(jù)64×64語義布局、句嵌入向量和隨機噪聲，在低分辨率生成器中獲得粗粒度的圖像潛在特征以及根據(jù)所述粗粒度的圖像潛在特征對應生成的低分辨率的64×64圖像；

根據(jù)128×128語義布局，在第一高分辨率生成器中通過預設的掩碼回歸網(wǎng)絡計算得到全局實例掩碼圖以及根據(jù)所述全局實例掩碼圖被裁剪出的每一個實例的掩碼嵌入圖，并在第一高分辨率生成器中使用預設的實例級別的注意力機制沿通道維度對128×128語義布局的各種上下文信息進行編碼，得到每一個實例的上下文向量，且進一步在第一高分辨率生成器中將所述每一個實例的上下文向量與其對應的掩碼嵌入圖組合，形成像素級特征向量；

根據(jù)128×128語義布局、所述粗粒度的圖像潛在特征及所述像素級特征向量，在第一高分辨率生成器中獲得第一細粒度的圖像潛在特征以及根據(jù)所述第一細粒度的圖像潛在特征對應生成的高分辨率的128×128圖像；

根據(jù)256×256語義布局、所述第一細粒度的圖像潛在特征及所述像素級特征向量，在第二高分辨率生成器中獲得第二細粒度的圖像潛在特征以及根據(jù)所述第二細粒度的圖像潛在特征對應生成的高分辨率的256×256圖像。

2.如權利要求1所述的自適應屬性和實例掩碼嵌入圖的文本到圖像生成方法，其特征在于，所述使用預設的編碼器-解碼器結構的邊框回歸網(wǎng)絡來獲得所述文本中每個單詞對應的實例邊界框的位置和標簽信息的步驟具體包括：

首先，使用預訓練的Bi-LSTM作為文本編碼器，將所述文本編碼為詞向量和一個句向量其中，每個詞均有兩個隱藏狀態(tài)，且每個詞的兩個隱藏狀態(tài)級聯(lián)，得到所有單詞的一個特征矩陣；所述特征矩陣的每一列均代表每一個單詞的特征向量；同時連接Bi-LSTM兩個方向最后的隱層狀態(tài)來獲得句向量；

其次，采用LSTM作為解碼器來得到每個單詞對應的實例類標簽l_t、坐標信息b_t，具體為：

類別標簽l_t使用softmax函數(shù)計算，b_t采用高斯混合模型建模：

其中，e_t表示概率分布向量，和表示高斯混合模型中的參數(shù)，e_t和GMM參數(shù)均根據(jù)LSTM每個單元的第t步輸出來計算，k是混合單元的數(shù)量；

最后，根據(jù)所述每個單詞對應的實例類標簽l_t、坐標信息b_t，得到每個單詞對應實例的標簽信息B_t＝(b_t,l_t)，并根據(jù)所述每個單詞對應實例的標簽信息B_t＝(b_t,l_t)，分別得到在64×64、128×128及256×256語義布局中每個實例邊界框的位置；其中，四元組中(x,y,w,h)表示其坐標和寬高。

3.如權利要求1所述的自適應屬性和實例掩碼嵌入圖的文本到圖像生成方法，其特征在于，所述根據(jù)64×64語義布局、句嵌入向量和隨機噪聲，在低分辨率生成器中獲得粗粒度的圖像潛在特征以及根據(jù)所述粗粒度的圖像潛在特征對應生成的低分辨率的64×64圖像的步驟具體包括：

在低分辨率生成器中對64×64語義布局下采樣，得到第一布局編碼μ₀，并將所述第一布局編碼、句嵌入向量和隨機噪聲送入預設的第一殘差塊后再進行上采樣，得到粗粒度的圖像潛在特征；

將所述粗粒度的圖像潛在特征導入3×3卷積神經網(wǎng)絡中，輸出低分辨率的64×64圖像。