[發明專利]人臉驅動和直播方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010161751.7
• 申請日: 2020-03-10
• 公開（公告）號: CN111402399A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 韓欣彤
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06K9/00;G06N3/04;H04N21/2187
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種人臉驅動方法，其特征在于，包括：

獲取原始圖像數據，所述原始圖像數據中具有原始人臉數據；

獲取參考圖像數據，所述參考圖像數據中具有虛擬形象；

對所述原始人臉數據識別原始人臉關鍵點；

通過殘差鏈接將所述參考圖像數據重組為目標圖像數據，以將所述虛擬形象調整至所述原始人臉關鍵點所表征的姿態。

2.根據權利要求1所述的方法，其特征在于，所述通過殘差鏈接將所述參考圖像數據重組為目標圖像數據，以將所述虛擬形象調整至所述原始人臉關鍵點所表征的姿態，包括：

對所述虛擬形象識別參考人臉關鍵點；

合并所述原始人臉關鍵點、所述參考人臉關鍵點與所述參考圖像數據，獲得候選圖像數據；

確定U型的神經網絡；

將所述候選圖像數據輸入到所述U型的神經網絡中進行解碼與編碼，從而生成目標圖像數據，以將所述虛擬形象調整至所述原始人臉關鍵點所表征的姿態。

3.根據權利要求2所述的方法，其特征在于，所述U型的神經網絡包括：第一編碼網絡、第二編碼網絡、第一解碼網絡、第二解碼網絡、第三解碼網絡、第一殘差網絡、第二殘差網絡、第三殘差網絡與第四殘差網絡；

所述將所述候選圖像數據輸入到所述U型的神經網絡中進行解碼與編碼，從而生成目標圖像數據，以將所述虛擬形象調整至所述原始人臉關鍵點所表征的姿態，包括：

在所述第一編碼網絡中，對所述候選圖像數據進行編碼，獲得第一特征數據；

在所述第一殘差網絡中，對所述第一特征數據進行處理，獲得第二特征數據；

在所述第二編碼網絡中，對所述第二特征數據進行編碼，獲得第三特征數據；

在所述第二殘差網絡中，對所述第三特征數據進行處理，獲得第四特征數據；

在所述第一解碼網絡中，對所述第四特征數據進行解碼，獲得第五特征數據；

在所述第二解碼網絡中，對所述第五特征數據進行解碼，獲得第六特征數據；

在所述第三殘差網絡中，對所述第四特征數據與所述第六特征數據進行處理，獲得第七特征數據；

在所述第三解碼網絡中，對所述第七特征數據進行解碼，獲得第八特征數據；

在所述第四殘差網絡，對所述第二特征數據與所述第八特征數據進行處理，獲得目標圖像數據。

4.根據權利要求3所述的方法，其特征在于，

所述在所述第一編碼網絡中，對所述候選圖像數據進行編碼，獲得第一特征數據，包括：

在所述第一編碼網絡中，對所述候選圖像數據依次進行下采樣的卷積處理、激活處理與標準化處理，獲得第一特征數據；

所述在所述第二編碼網絡中，對所述第二特征數據進行編碼，獲得第三特征數據，包括：

在所述第二編碼網絡中，對所述第二特征數據依次進行下采樣的卷積處理、激活處理與標準化處理，獲得第三特征數據。

5.根據權利要求3所述的方法，其特征在于，

所述在所述第一解碼網絡中，對所述第四特征數據進行解碼，獲得第五特征數據，包括：

在所述第一解碼網絡中，對所述第四特征數據依次進行卷積處理、上采樣處理，獲得第五特征數據；

所述在所述第二解碼網絡中，對所述第五特征數據進行解碼，獲得第六特征數據，包括：

在所述第二解碼網絡中，對所述第五特征數據依次進行卷積處理、上采樣處理，獲得第六特征數據；

所述在所述第三解碼網絡中，對所述第七特征數據進行解碼，獲得第八特征數據，包括：

在所述第三解碼網絡中，對所述第七特征數據依次進行卷積處理、上采樣處理，獲得第八特征數據。

6.根據權利要求2-5任一項所述的方法，其特征在于，所述通過殘差鏈接將所述參考圖像數據重組為目標圖像數據，以將所述虛擬形象調整至所述人臉關鍵點所表征的姿態，還包括：

根據所述U型的神經網絡提取的特征數據，將所述參考圖像數據的風格遷移至所述目標圖像數據。