[發明專利]人臉表情的遷移方法、裝置、電子設備及存儲介質

有效

• 申請號: 202011492761.5
• 申請日: 2020-12-16
• 公開（公告）號: CN112541445B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 王響;王愷;廉士國
• 申請（專利權）人: 中國聯合網絡通信集團有限公司;聯通大數據有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06T3/00
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 張娜;劉芳

1.一種人臉表情的遷移方法，其特征在于，包括：

獲取真實人臉圖像；

將所述真實人臉圖像輸入預先訓練好的人臉表情識別網絡模型中，輸出所述真實人臉圖像中的人臉表情對應的動作單元系數；其中，所述人臉表情識別網絡模型通過虛擬人臉數據集和真實人臉數據集訓練獲得，其中，所述動作單元系數用于表征人臉處于不同表情時的面部數據；

根據所述動作單元系數驅動虛擬對象的面部作出相應的人臉表情，以實現人臉表情遷移；

所述將所述真實人臉圖像輸入已經訓練好的人臉表情識別網絡模型中之前，還包括：

通過虛擬引擎創建虛擬人臉模型，并采用渲染算法驅動所述虛擬人臉模型生成不同表情，形成虛擬人臉動畫視頻；

提取所述虛擬人臉動畫視頻的視頻幀圖像，并將所述視頻幀圖像作為所述虛擬人臉數據集；

通過攝影設備采集具有不同表情的真實人臉圖像，獲得對應的真實人臉數據集；

根據所述虛擬人臉數據集和真實人臉數據集訓練初始人臉表情識別網絡模型，獲得所述預先訓練好的人臉表情識別網絡模型；

所述獲得對應的虛擬人臉數據集之后，還包括：

將所述虛擬人臉數據集輸入到預先訓練好的圖像遷移網絡模型中，輸出真實感增強的虛擬人臉數據集，所述預先訓練好的圖像遷移網絡模型為采用編碼-解碼結構的生成器生成的對抗式的圖像遷移網絡模型；

所述根據所述虛擬人臉數據集和真實人臉數據集訓練初始人臉表情識別網絡模型，包括：

根據所述真實感增強的虛擬人臉數據集和真實人臉數據集訓練初始人臉表情識別網絡模型。

2.根據權利要求1所述的方法，其特征在于，所述圖像遷移網絡模型通過虛擬人臉數據集和開源人臉圖像數據集訓練獲得。

3.根據權利要求1所述的方法，其特征在于，所述獲得所述預先訓練好的人臉表情識別網絡模型之后，還包括：

重復執行以下步驟，直至所述預先訓練好的人臉表情識別網絡模型的損失函數滿足預設條件：

采用測試數據集對所述預先訓練好的人臉表情識別網絡模型進行測試；

根據測試結果，確定測試出錯率大于第一預設閾值的表情類別；

生成與所述表情類別對應的第一虛擬人臉數據，并將所述第一虛擬人臉數據補充至所述虛擬人臉數據集中；

根據補充后的虛擬人臉數據集再次訓練所述預先訓練好的人臉表情識別網絡模型。

4.根據權利要求1所述的方法，其特征在于，所述虛擬人臉數據集還包括第二虛擬人臉數據集，所述第二虛擬人臉數據集為真實人臉數據集中數據量小于第二預設閾值的表情類別所對應的虛擬人臉數據。

5.一種人臉表情的遷移裝置，其特征在于，包括：

獲取模塊，用于獲取真實人臉圖像；

識別模塊，用于將所述真實人臉圖像輸入預先訓練好的人臉表情識別網絡模型中，輸出所述真實人臉圖像中的人臉表情對應的動作單元系數；其中，所述人臉表情識別網絡模型通過虛擬人臉數據集和真實人臉數據集訓練獲得，其中，所述動作單元系數用于表征人臉處于不同表情時的面部數據；

驅動模塊，用于根據所述動作單元系數驅動虛擬對象的面部作出相應的人臉表情，以實現人臉表情遷移；

還包括：訓練模塊，用于通過虛擬引擎創建虛擬人臉模型，并采用渲染算法驅動所述虛擬人臉模型生成不同表情，形成虛擬人臉動畫視頻；

提取所述虛擬人臉動畫視頻的視頻幀圖像，并將所述視頻幀圖像作為所述虛擬人臉數據集；

通過攝影設備采集具有不同表情的真實人臉圖像，獲得對應的真實人臉數據集；

根據所述虛擬人臉數據集和真實人臉數據集訓練初始人臉表情識別網絡模型，獲得所述預先訓練好的人臉表情識別網絡模型；

將所述虛擬人臉數據集輸入到預先訓練好的圖像遷移網絡模型中，輸出真實感增強的虛擬人臉數據集，所述預先訓練好的圖像遷移網絡模型為采用編碼-解碼結構的生成器生成的對抗式的圖像遷移網絡模型；

所述根據所述虛擬人臉數據集和真實人臉數據集訓練初始人臉表情識別網絡模型，包括：

根據所述真實感增強的虛擬人臉數據集和真實人臉數據集訓練初始人臉表情識別網絡模型。