[發明專利]用于面部圖像生成的數據處理方法、設備和介質

有效

• 申請號: 201910345276.6
• 申請日: 2019-04-26
• 公開（公告）號: CN110084193B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 張勇;李樂;劉志磊;吳保元;樊艷波;李志鋒;劉威
• 申請（專利權）人: 深圳市騰訊計算機系統有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/764;G06V10/774
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 于小寧;黃玫

1.一種用于面部圖像生成的數據處理方法，包括：

獲取第一面部圖像及第二面部圖像；

獲取第一面部圖像(I_MA)中與面部特征對應的M個第一圖像塊，并獲取第二面部圖像(I_FA)中與面部特征對應的N個第二圖像塊；

將M個第一圖像塊和N個第二圖像塊變換到特征空間以生成M個第一特征塊和N個第二特征塊；

根據特定的控制向量選擇一部分第一特征塊和一部分第二特征塊；

至少基于所選擇的一部分第一特征塊和一部分第二特征塊，生成第一合成特征圖；以及

將所述第一合成特征圖反變換回圖像空間以生成第三面部圖像(I_O1)，

其中M和N為自然數，

其中通過將M個第一圖像塊和N個第二圖像塊輸入到繼承網絡來生成所述第三面部圖像，并且

所述繼承網絡通過以下訓練步驟得到：

獲取第五面部圖像(I_M)中與各面部特征對應的L個第五圖像塊，并獲取第六面部圖像(I_F)中與各面部特征對應的L個第六圖像塊，其中L為自然數，且M≤L且N≤L；

根據第一控制向量選擇一部分第五圖像塊和一部分第六圖像塊以生成第一合成圖像并根據第二控制向量選擇另一部分第五圖像塊和另一部分第六圖像塊以生成第二合成圖像

獲取第一合成圖像中與各面部特征對應的L個第七圖像塊，并獲取第二合成圖像中與各面部特征對應的L個第八圖像塊；

將L個第七圖像塊和L個第八圖像塊輸入到繼承網絡；

通過所述繼承網絡，輸出基于第一控制向量選擇的一部分第七圖像塊和一部分第八圖像塊而生成的第七面部圖像(I'_M)，并輸出基于第二控制向量選擇的另一部分第七圖像塊和另一部分第八圖像塊而生成的第八面部圖像(I'_F)，其中第五面部圖像是用于對第七面部圖像提供監督信息的監督圖像，第六面部圖像是用于對第八面部圖像提供監督信息的監督圖像，并且將第五至第八面部圖像作為一組繼承訓練數據；

將至少一組繼承訓練數據輸入至第一判別網絡，其中所述第一判別網絡被設置為當向所述第一判別網絡輸入一圖像時，輸出該圖像為真實圖像的概率值；以及

基于第一損失函數，交替地訓練所述繼承網絡和所述第一判別網絡，直至所述第一損失函數收斂為止，

其中，在所述繼承網絡的訓練過程中，不需要建立存在父、母和孩子關系的人臉數據庫。

2.根據權利要求1所述的方法，其中所述特定的控制向量包括與各面部特征對應的L個信息位，其中L為自然數，且M≤L，N≤L，并且

根據特定的控制向量選擇一部分第一特征塊和一部分第二特征塊的步驟進一步包括：

當所述特定的控制向量中的一個信息位為第一值時，從M個第一特征塊中選擇與該位對應的面部特征的特征塊，而當所述特定的控制向量中的該信息位為第二值時，從N個第二特征塊中選擇與該位對應的面部特征的特征塊。

3.根據權利要求1所述的方法，其中至少基于所選擇的一部分第一特征塊和一部分第二特征塊，生成第一合成特征圖的步驟進一步包括：

將指定屬性信息擴展為處于所述特征空間中的屬性特征塊；以及

基于所選擇的一部分第一特征塊、一部分第二特征塊以及屬性特征塊，生成第一合成特征圖。

4.根據權利要求1所述的方法，其中所述第一損失函數基于所述第一判別網絡對于至少一組繼承訓練數據輸出的概率值以及至少一組繼承訓練數據中面部圖像與對應的監督圖像之間的像素差異而確定。

5.根據權利要求4所述的方法，其中所述第一損失函數進一步基于以下至少之一而確定：

至少一組繼承訓練數據中面部圖像的屬性與對應的監督圖像的屬性之間的差異和至少一組繼承訓練數據中面部圖像的特征與對應的監督圖像的特征之間的差異。