[發明專利]一種人臉重構、直播方法、裝置、設備及存儲介質

在審

• 申請號: 202010202350.1
• 申請日: 2020-03-20
• 公開（公告）號: CN111415397A
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 王文斕;劉爐
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06K9/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種人臉重構方法，其特征在于，包括：

從圖像數據提取原始人臉數據的特征，作為原始人臉特征；

確定參考五官特征，所述參考五官特征用于表示五官數據在指定的維度下的特征；

在所述原始人臉特征的基礎上添加所述參考五官特征，獲得目標人臉特征；

使用所述目標人臉特征重構目標人臉數據，以使所述目標人臉數據具有在所述維度下調整之后的五官數據。

2.根據權利要求1所述的方法，其特征在于，所述從圖像數據提取原始人臉數據的特征，作為原始人臉特征，包括：

確定人臉編碼器，所述人臉編碼器包括卷積層與全連接層；

將圖像數據中的原始人臉數據輸入所述卷積層進行卷積處理，輸出中間人臉圖像；

將所述中間人臉圖像輸入所述全連接層進行映射處理，輸出原始人臉特征。

3.根據權利要求1所述的方法，其特征在于，所述確定參考五官特征，包括：

獲取第一樣本人臉數據、第二樣本人臉數據，其中，所述第一樣本人臉數據的五官數據與所述第二樣本人臉數據的五官數據在指定的維度下存在差異；

從所述第一樣本人臉數據中提取特征，作為第一樣本人臉特征；

從所述第二樣本人臉數據中提取特征，作為第二樣本人臉特征；

將所述第一樣本人臉特征減去所述第二樣本人臉特征，獲得所述五官數據在所述維度下表達的特征，作為參考五官特征。

4.根據權利要求3所述的方法，其特征在于，所述獲取第一樣本人臉數據、第二樣本人臉數據，包括：

獲取第一樣本人臉數據；

在指定的維度下，對所述第一樣本人臉數據中的五官數據進行調整，獲得第二樣本人臉數據。

5.根據權利要求3所述的方法，其特征在于，

所述從所述第一樣本人臉數據中提取特征，作為第一樣本人臉特征，包括：

確定人臉生成器，所述人臉生成器用于根據人臉特征重構人臉圖像數據；

將所述第一樣本人臉數據輸入所述人臉生成器中進行反向傳播，從而輸出人臉特征，作為第一樣本人臉特征；

所述從所述第二樣本人臉數據中提取特征，作為第二樣本人臉特征，包括：

確定人臉生成器，所述人臉生成器用于根據人臉特征重構人臉圖像數據；

將所述第二樣本人臉數據輸入所述人臉生成器中進行反向傳播，從而輸出人臉特征，作為第二樣本人臉特征。

6.根據權利要求1所述的方法，其特征在于，所述在所述原始人臉特征的基礎上添加所述參考五官特征，獲得目標人臉特征，包括：

對所述參考五官特征配置權重；

在所述原始人臉特征的基礎上加上已配置權重的所述參考五官特征，獲得目標人臉特征。

7.根據權利要求6所述的方法，其特征在于，所述在所述原始人臉特征的基礎上添加所述參考五官特征，獲得目標人臉特征，包括：

確定候選人臉數據的原始人臉特征；

將所述候選人臉數據的原始人臉特征部分或全部替換所述原始人臉數據的原始人臉特征。

8.根據權利要求1-7任一所述的方法，其特征在于，所述目標人臉特征具有N個向量；

所述使用所述目標人臉特征重構目標人臉數據，以使所述目標人臉數據具有在所述維度下調整之后的五官數據，包括：

確定人臉生成器，所述人臉生成器具有N+1個卷積層、N個全連接層；

在當前的卷積層中，接收第一特征人臉數據，其中，所述第一特征人臉數據初始為預設的數值；

在當前的卷積層中對所述第一特征人臉數據進行卷積處理，獲得第二特征人臉數據；

若當前的卷積層為非末尾的卷積層，則在當前的全連接層中，將與當前的卷積層適配的向量映射為目標向量；

將所述第二特征人臉數據與所述目標向量進行歸一化操作，作為新的第一特征人臉數據、輸入至下一個卷積層；

若當前的卷積層為末尾的卷積層，則輸出第二特征人臉數據為目標人臉數據。