[發(fā)明專利]人臉圖像生成方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210973843.4
• 申請日: 2022-08-15
• 公開（公告）號: CN115511989A
• 公開（公告）日: 2022-12-23
• 發(fā)明（設(shè)計）人: 習(xí)思;陳康;李天惠;張偉東
• 申請（專利權(quán)）人: 網(wǎng)易（杭州）網(wǎng)絡(luò)有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06V40/16;G06V10/774
• 代理公司: 北京市京大律師事務(wù)所 11321
• 代理人: 何少巖

1.一種人臉圖像生成方法，其特征在于，所述人臉圖像生成方法包括：

獲取輸入的草圖和人臉屬性；

將草圖輸入預(yù)設(shè)的人臉生成模型中，通過所述人臉生成模型計算所述草圖中各分區(qū)的令牌序列，并基于所述令牌序列計算所述草圖的全局注意力；

根據(jù)所述全局注意力計算所述草圖的圖像特征；

將所述圖像特征映射至人臉特征空間，并將映射至人臉特征空間的圖像特征進行特征編輯，得到所述草圖的對應(yīng)的人臉特征；

根據(jù)所述人臉特征生成對應(yīng)的人臉圖像。

2.根據(jù)權(quán)利要求1所述的人臉圖像生成方法，其特征在于，所述人臉生成模型包括特征提取網(wǎng)絡(luò)、特征編輯網(wǎng)絡(luò)和人臉生成網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求2所述的人臉圖像生成方法，其特征在于，所述特征提取網(wǎng)絡(luò)由M個stage以及N個styleblock構(gòu)成，所述stage由Patch embedding層和Transformer Encoder組成，所述M和N均為大于1的自然數(shù)；

所述將草圖輸入預(yù)設(shè)的人臉生成模型中，通過所述人臉生成模型計算所述草圖中各分區(qū)的令牌序列，并基于所述令牌序列計算所述草圖的全局注意力包括：

將草圖輸入預(yù)設(shè)的人臉生成模型中，通過所述特征提取網(wǎng)絡(luò)中的M個stage的Patchembedding層計算所述草圖中對應(yīng)分區(qū)的令牌序列；

通過所述stage中的Transformer Encoder根據(jù)所述令牌序列計算所述草圖的全局注意力。

4.根據(jù)權(quán)利要求2所述的人臉圖像生成方法，其特征在于，所述特征編輯網(wǎng)絡(luò)由clip模型和全連接層構(gòu)成；

所述將所述圖像特征映射至人臉特征空間，并將映射至人臉特征空間的圖像特征進行特征編輯，得到所述草圖的對應(yīng)的人臉特征包括：

將所述圖像特征映射至人臉特征空間；

通過所述特征編輯網(wǎng)絡(luò)中的clip模型提取所述人臉屬性的文字特征信息；

通過所述特征編輯網(wǎng)絡(luò)中的全連接層將所述文字特征信息映射至人臉特征空間，并根據(jù)人臉特征空間中的圖像特征和文字特征信息得到所述草圖的對應(yīng)的人臉特征。

5.根據(jù)權(quán)利要求2所述的人臉圖像生成方法，其特征在于，所述根據(jù)所述人臉特征生成對應(yīng)的人臉圖像包括：

獲取至少一個隨機噪聲，并通過所述人臉生成網(wǎng)絡(luò)基于至少一個所述隨機噪聲和所述人臉特征生成至少一個人臉圖像。

6.根據(jù)權(quán)利要求5所述的人臉圖像生成方法，其特征在于，所述人臉生成網(wǎng)絡(luò)由多個生成模塊構(gòu)成，每個生成模塊由特征層和上采樣層構(gòu)成；

所述通過所述生成器基于所述隨機噪聲和所述人臉特征生成初始圖像包括：

將所述隨機噪聲通過權(quán)重解調(diào)的方式疊加至每個生成模塊的特征層中；

將預(yù)設(shè)的固定輸入輸入至第一生成模塊中的特征層中，并將所述人臉特征通過自適應(yīng)歸一化的方式加入所述特征層中，生成對應(yīng)的人臉特征圖像，并通過對應(yīng)的上采樣層輸入處理后，作為下一生成模塊的輸入；

重復(fù)進行人臉特征圖像生成的步驟，直至最后一個生成模塊輸出，將最后一個生成模塊輸出的人臉特征圖像作為初始圖像。

7.根據(jù)權(quán)利要求1-6中任一項所述的人臉圖像生成方法，其特征在于，在所述獲取輸入的草圖，并將草圖輸入預(yù)設(shè)的人臉生成模型中之前，還包括：

獲取樣本人臉圖像，并對所述樣本人臉圖像進行預(yù)處理，得到樣本草圖；

將所述樣本草圖輸入至預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型中，得到模型生成圖像；

根據(jù)所述模型生成圖像和所述樣本人臉圖像計算預(yù)設(shè)的損失函數(shù)，得到對應(yīng)的損失函數(shù)值；

判斷所述損失函數(shù)值是否小于預(yù)設(shè)損失閾值；

若否，則將所述損失函數(shù)值進行反向傳播，更新所述神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)，直至得到的損失函數(shù)值小于預(yù)設(shè)閾值；

若是，則根據(jù)所述神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)構(gòu)成人臉生成模型。