[發明專利]圖像遷移方法和圖像遷移模型的訓練方法、裝置

有效

• 申請號: 202111502659.3
• 申請日: 2021-12-09
• 公開（公告）號: CN114140320B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 梁柏榮;郭知智;洪智濱
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T7/00;G06T7/12;G06V10/40;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 呂朝蕙

1.一種圖像遷移方法，包括：

根據第一人臉的目標部位在第一圖像中的第一位置信息和所述第一圖像，分別提取所述第一人臉的第一屬性特征和所述目標部位的第一形狀特征；所述目標部位為所述第一人臉中隨人臉狀態的變化形狀變化最為明顯的部位；

提取第二圖像包括的第二人臉的第一身份特征；以及

基于所述第一屬性特征、所述第一形狀特征和所述第一身份特征生成第一遷移圖像，所述第一遷移圖像包括具有所述第一屬性特征和所述第一形狀特征的第二人臉；

其中，所述第一屬性特征包括第一姿態特征和第一表情特征；所述根據第一人臉的目標部位在第一圖像中的第一位置信息和所述第一圖像，分別提取所述第一人臉的第一屬性特征和所述目標部位的第一形狀特征包括：

基于所述第一位置信息，確定所述第一圖像中針對所述目標部位的目標區域的圖像；

根據所述第一圖像，提取所述第一姿態特征；

根據所述目標區域的圖像，提取所述第一形狀特征；以及

根據所述第一圖像中除所述目標區域外其他區域的圖像，提取所述第一表情特征。

2.?根據權利要求1所述的方法，還包括：

檢測包括所述第一人臉的模板圖像，得到所述第一人臉在所述模板圖像中的第二位置信息；以及

基于所述第二位置信息裁剪所述模板圖像，獲得所述第一圖像。

3.根據權利要求2所述的方法，其中，所述基于所述第二位置信息裁剪所述模板圖像，獲得所述第一圖像包括：

基于所述第二位置信息裁剪所述模板圖像，得到中間圖像；

對所述中間圖像進行圖像分割處理，得到所述中間圖像中目標人體的第三位置信息；所述目標人體包括所述第一人臉；

基于所述第三位置信息，生成針對所述目標人體的掩膜圖像；以及

基于所述掩膜圖像去除所述中間圖像中的背景圖像，得到所述第一圖像。

4.?根據權利要求1所述的方法，其中，所述根據第一人臉的目標部位在第一圖像中的第一位置信息和所述第一圖像，分別提取所述第一人臉的第一屬性特征和所述目標部位的第一形狀特征包括：

對所述第一圖像進行數據增強處理，得到增強后圖像；以及

基于所述第一位置信息和所述增強后圖像，分別提取所述第一屬性特征和所述第一形狀特征。

5.?根據權利要求1所述的方法，其中，所述根據第一人臉的目標部位在第一圖像中的第一位置信息和所述第一圖像，分別提取所述第一人臉的第一屬性特征和所述目標部位的第一形狀特征包括：

對所述第一圖像進行歸一化處理，得到第一歸一化圖像；以及

根據所述第一位置信息和所述第一歸一化圖像，分別提取所述第一屬性特征和所述第一形狀特征。

6.?根據權利要求1所述的方法，還包括：

檢測包括所述第二人臉的源圖像，得到所述第二人臉在所述源圖像中的第四位置信息；以及

基于所述第四位置信息裁剪所述源圖像，獲得所述第二圖像。

7.?根據權利要求1所述的方法，其中，所述提取第二圖像包括的第二人臉的第一身份特征包括：

對所述第二圖像進行歸一化處理，得到第二歸一化圖像；以及

采用編碼網絡對所述第二歸一化圖像進行編碼，得到所述第二人臉的第一身份特征。

8.?根據權利要求1或7所述的方法，其中，所述第二圖像包括多個圖像；所述提取第二圖像包括的第二人臉的第一身份特征包括：

分別提取所述多個圖像中每個圖像包括的第二人臉的身份特征，得到多個初始身份特征；以及

確定所述多個初始身份特征的均值特征為所述第二人臉的第一身份特征。

9.?根據權利要求1所述的方法，其中，所述基于所述第一屬性特征、所述第一形狀特征和所述第一身份特征生成第一遷移圖像包括：

融合所述第一屬性特征、所述第一形狀特征和所述第一身份特征，得到融合特征；以及

將所述融合特征作為生成網絡的輸入，得到所述第一遷移圖像。