[發明專利]人臉圖像生成方法、裝置、設備及存儲介質

在審

• 申請號: 202210973843.4
• 申請日: 2022-08-15
• 公開（公告）號: CN115511989A
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 習思;陳康;李天惠;張偉東
• 申請（專利權）人: 網易（杭州）網絡有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06V40/16;G06V10/774
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 何少巖

本發明提供了一種人臉圖像生成方法、裝置、設備及存儲介質，其中，該方法包括：獲取輸入的草圖和人臉屬性；將草圖輸入預設的人臉生成模型中，通過所述人臉生成模型計算所述草圖中各分區的令牌序列，并基于所述令牌序列計算所述草圖的全局注意力；根據所述全局注意力計算所述草圖的圖像特征；將所述圖像特征映射至人臉特征空間，并將映射至人臉特征空間的圖像特征進行特征編輯，得到所述草圖的對應的人臉特征；根據所述人臉特征生成對應的人臉圖像。本方式中，通過計算草圖的全局注意力實現高質量提取圖像特征，降低對草圖質量的要求，可以從粗糙甚至不完整的徒手素描中生成高質量的面部圖像，并通過特征編輯功能提高生成人臉的可編輯范圍。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種人臉圖像生成方法、裝置、設備及存儲介質。

背景技術

隨著游戲市場不斷發展成熟，以及隨之而來年輕化用戶訴求的壯大，美術品質的要求也不斷提高，通常美術設計一個人物形象需要豐富的美術經驗，并進行大量的參考和設計，且受到版權約束。因此亟需提供一種低繪畫門檻的高清人臉圖像生成方法。

低繪畫門檻的生成人臉圖像，一種自然而直觀的方法是畫草圖。草圖是一種有效的視覺思維表現形式。它描述了目標對象的結構和形狀，并且比文字描述更為具體，將草圖變成真實圖像在計算機與計算機圖形學領域引起了廣泛關注。在現有技術中，基于草圖合成人臉圖像主要使用的是圖像映射。

然后，圖像映射在輸入草圖只包含部分結構，或者說輸出草圖存在缺失情況，模型是無法得到清晰自然的圖片的。主要是因為這類方法嚴格遵守輸入草圖的線條進行圖像合成，因此它們不會在很少線條或者沒有線條的區域生成新的結構。人臉是具有明確結構的部分組成，例如鼻子、嘴巴、眼睛等。即使是輸入草圖在對應位置沒有這些邊緣，合成仍舊應當保持這些結構才有可能生成具有真實感的人臉，也就是說，通過圖像映射的方式使草圖合成人臉圖像需要的草圖質量高，無法實現低質量草圖進行人臉圖像的生成。

發明內容

本發明的主要目的在于解決現有的草圖生成人臉圖像無法時使用低質量草圖進行生成的技術問題。

本發明第一方面提供了一種人臉圖像生成方法，方法包括：獲取輸入的草圖和人臉屬性；

將草圖輸入預設的人臉生成模型中，通過所述人臉生成模型計算所述草圖中各分區的令牌序列，并基于所述令牌序列計算所述草圖的全局注意力；根據所述全局注意力計算所述草圖的圖像特征；將所述圖像特征映射至人臉特征空間，并將映射至人臉特征空間的圖像特征進行特征編輯，得到所述草圖的對應的人臉特征；根據所述人臉特征生成對應的人臉圖像。

可選的，在本發明第一方面的第一種實現方式中，所述人臉生成模型包括特征提取網絡、特征編輯網絡和人臉生成網絡。

可選的，在本發明第一方面的第二種實現方式中，所述特征提取網絡由M個stage以及N個styleblock構成，所述stage由Patch embedding層和Transformer Encoder組成，所述M和N均為大于1的自然數；所述將草圖輸入預設的人臉生成模型中，通過所述人臉生成模型計算所述草圖中各分區的令牌序列，并基于所述令牌序列計算所述草圖的全局注意力包括：將草圖輸入預設的人臉生成模型中，通過所述特征提取網絡中的M個stage的Patchembedding層計算所述草圖中對應分區的令牌序列；通過所述stage中的TransformerEncoder根據所述令牌序列計算所述草圖的全局注意力。

可選的，在本發明第一方面的第三種實現方式中，所述特征編輯網絡由clip模型和全連接層構成；所述將所述圖像特征映射至人臉特征空間，并將映射至人臉特征空間的圖像特征進行特征編輯，得到所述草圖的對應的人臉特征包括：將所述圖像特征映射至人臉特征空間；通過所述特征編輯網絡中的clip模型提取所述人臉屬性的文字特征信息；通過所述特征編輯網絡中的全連接層將所述文字特征信息映射至人臉特征空間，并根據人臉特征空間中的圖像特征和文字特征信息得到所述草圖的對應的人臉特征。