[發明專利]結合風格遷移的可控表情生成方法

有效

• 申請號: 202011618332.8
• 申請日: 2020-12-30
• 公開（公告）號: CN112767519B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 姬艷麗;張浩
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06N3/04;G06N3/08
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 溫利平

本發明公開了一種結合風格遷移的可控表情生成方法，獲取真實人臉表情圖像和動漫風格人臉表情圖像，以及真實人臉表情圖像的AU向量標簽；首先隨機選取真實人臉表情圖像和動漫人臉表情圖像訓練風格遷移模塊，然后使用已訓練好的風格遷移模塊生成的動漫風格人臉表情圖像、該圖像的AU向量標簽和期望表情的AU向量，對由表情控制生成模塊和判別器模塊組成的可控表情生成對抗網絡進行訓練；將某真實人臉表情圖像輸入至風格遷移模塊得到相同表情的動漫風格人臉表情圖像，將該動漫風格人臉表情圖像和期望表情的AU向量輸入表情控制生成模塊，得到期望表情的動漫風格人臉表情圖像。本發明可以在風格遷移的同時，對動漫風格人臉表情圖像的表情類別進行控制。

技術領域

本發明屬于圖像表情控制技術領域，更為具體地講，涉及一種結合風格遷移的可控表情生成方法。

背景技術

面部表情是人類傳達情緒和意圖的一種通用且重要的方式，因此通過AU向量控制源域風格人臉圖像轉換成目標風格人臉表情時的表情類別將為其他領域提供更加豐富的應用，如電影業、動漫制作、AR/VR、攝影技術和電子商務等。

隨著深度學習在圖像生成領域的研究不斷深入，大量基于深度學習的風格遷移算法和表情控制算法被提出。目前實現表情類別可控的真實人臉表情圖像到目標表情類別的動漫風格人臉表情圖像生成過程需要經過多個步驟的處理，如跨風格圖像生成模型，人臉表情編輯模型。

傳統的可控表情生成方法是離散式的圖像生成方式：先訓練一個人臉表情編輯模型，實現對人臉表情的控制目的；然后使用跨風格圖像生成模型將編輯后的人臉表情圖像轉換為動漫風格人臉表情圖像。這種“模塊式”的方法使得訓練過程需要消耗大量的計算資源，封裝性差，而且無法實現對生成表情的連續控制，生成的表情比較死板。

發明內容

本發明的目的在于克服現有技術的不足，提供一種結合風格遷移的可控表情生成方法，將風格遷移模塊和表情控制生成模塊結合，根據輸入的真實人臉圖像和AU向量，生成與輸入AU向量表情類別一致的動漫風格人臉表情圖像，實現對生成的動漫風格人臉表情圖像的表情類別控制。

為了實現上述發明目的，本發明結合風格遷移的可控表情生成方法包括以下步驟：

S1：獲取若干真實人臉表情圖像和動漫風格人臉表情圖像，對于每個真實人臉表情圖像獲取其對應的AU向量作為AU向量標簽；

S2：構建和訓練風格遷移模塊，包括特征編碼器1和風格遷移解碼器，其中特征編碼器1用于對真實人臉表情圖像進行高維語義特征提取，風格遷移解碼器用于對特征編碼器1輸出的特征進行解碼得到動漫風格人臉表情圖像并輸出；

對步驟S1獲取的真實人臉表情圖像和動漫風格人臉表情圖像進行隨機配對作為訓練樣本，對風格遷移模塊進行無監督訓練；

S3：構建可控表情生成對抗網絡，包括表情控制生成模塊和判別器模塊，其中：

表情控制生成模塊包括特征編碼器2、映射網絡、自適應歸一化層、表情控制解碼器和掩碼計算層；表情控制生成模塊的輸入為風格遷移模塊所輸出的動漫風格人臉表情圖像以及期望表情的AU向量，生成與該AU向量表情類別一致的動漫風格人臉表情圖像；其中：

特征編碼器2用于提取動漫風格人臉表情圖像的高維語義的人臉特征，輸出至自適應歸一化層；

映射網絡用于對輸入的AU向量進行解耦，將AU向量的長度調整至與特征編碼器2輸出的人臉特征通道數一致，將解耦后的AU向量輸出至自適應歸一化層；

自適應歸一化層用于將特征編碼器2輸出的人臉特征和映射網絡解耦后的AU向量結合，將得到的特征輸出至表情控制解碼器；