[發明專利]實現用戶隱私保護的人臉圖像生成方法及裝置

有效

• 申請號: 202010198211.6
• 申請日: 2020-03-19
• 公開（公告）號: CN111414856B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 趙凱
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T11/00;G06N3/08;G06N3/04
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳婧玥;周良玉

1.一種實現用戶隱私保護的人臉圖像生成方法，包括：

獲取與第一用戶的真實人臉圖像對應的真實特征向量，所述真實特征向量是將該真實人臉圖像輸入預先訓練的人臉識別模型中的特征表示層而確定；

將所述真實特征向量輸入圖像生成網絡，所述圖像生成網絡至少包括N個處理單元和輸出層；其中第i+1個處理單元利用所述真實特征向量和預先獲取的隨機噪聲向量，將第i個處理單元輸出的第一特征圖轉化為第二特征圖，再利用該第i+1個處理單元對應包括的卷積層對所述第二特征圖進行卷積處理，得到第三特征圖，作為第i+1個處理單元的輸出；其中輸出層根據第N個處理單元輸出的特征圖，輸出用于識別為所述第一用戶的虛擬人臉圖像；其中N和i為正整數，且i＜N；其中第1個處理單元將所述真實特征向量從向量空間映射到特征圖空間，得到映射特征圖，并基于該映射特征圖確定第1個處理單元的輸出；

將所述虛擬人臉圖像輸入所述特征表示層中，得到對應的虛擬特征向量；

基于所述真實特征向量和虛擬特征向量，確定第一損失；

將所述虛擬人臉圖像輸入判別網絡中，得到第一判別結果，并且，基于所述第一判別結果和所述虛擬人臉圖像對應的第一類別標簽，確定第二損失；

確定生成綜合損失，所述生成綜合損失分別與所述第一損失和所述第二損失正相關；

利用所述生成綜合損失，訓練所述圖像生成網絡，用于生成與目標用戶對應的目標虛擬人臉圖像。

2.根據權利要求1所述的方法，其中，基于該映射特征圖確定該第1個處理單元的輸出，包括：利用所述第1個處理單元對應包括的卷積層對所述映射特征圖進行卷積處理，得到轉化特征圖，作為第1個處理單元的輸出。

3.根據權利要求1所述的方法，其中，所述圖像生成網絡還包括調制單元，所述調制單元對所述真實特征向量進行升維處理，得到升維特征向量；其中第i+1個處理單元利用所述真實特征向量和預先獲取的隨機噪聲向量，將第i個處理單元輸出的第一特征圖轉化為第二特征圖，包括：

第i+1個處理單元利用所述升維特征向量和所述隨機噪聲向量，將所述第一特征圖轉化為所述第二特征圖。

4.根據權利要求3所述的方法，其中，所述調制單元包括第一全連接層；其中，所述調制單元對所述真實特征向量進行升維處理，得到升維特征向量，包括：

將所述真實特征向量輸入所述第一全連接層中，輸出所述升維特征向量。

5.根據權利要求1所述的方法，其中第i+1個處理單元利用所述真實特征向量和預先獲取的隨機噪聲向量，將第i個處理單元輸出的第一特征圖轉化為第二特征圖，包括：

對所述真實特征向量和隨機噪聲向量進行融合處理，得到融合向量；

利用所述融合向量，將所述第一特征圖轉化為所述第二特征圖。

6.根據權利要求5所述的方法，其中，所述第一特征圖中包括任意的第一特征元素，對應于所述第二特征圖中的第二特征元素；所述第i+1個處理單元中還包括對應的第二全連接層和第三全連接層；其中，利用所述融合向量，將所述第一特征圖轉化為所述第二特征圖，包括：

將所述融合向量輸入第二全連接層中，得到對應的均值向量，其中包括用于對所述第一特征元素進行標準化處理的均值；

將所述融合向量輸入第三全連接層中，得到對應的方差向量，其中包括用于對所述第一特征元素進行標準化處理的方差；

利用所述方差和均值，對所述第一特征元素進行標準化處理，得到標準化特征元素；

利用所述第i+1個處理單元中對應包括的縮放學習參數和偏移學習參數，對所述標準化特征元素進行縮放和偏移處理，得到所述第二特征元素。