[發明專利]圖像處理方法、裝置、設備及存儲介質

在審

• 申請號: 202011218375.7
• 申請日: 2020-11-04
• 公開（公告）號: CN112330530A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 朱昊;吳潛溢;吳文巖;錢晨;傅朝友;郝然
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06K9/00;G06K9/62
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 董曉盈

1.一種圖像處理方法，其特征在于，所述方法包括：

獲取第一面部圖像的第一面部特征，所述第一面部圖像是基于源圖像的面部特征與目標圖像得到的；

對所述第一面部特征進行映射得到第二面部特征，所述第二面部特征中的至少部分特征的分布與所述目標圖像的特征分布相匹配；

根據所述第一面部圖像以及所述第二面部特征，得到目標面部圖像。

2.根據權利要求1所述的方法，其特征在于，所述獲取第一面部圖像的第一面部特征，包括：

獲取所述第一面部圖像的面部坐標信息和面部法向量信息中的至少一種；

通過特征編碼網絡對所述第一面部圖像進行特征提取處理，得到編碼特征信息；

根據所述第一面部圖像的面部坐標信息和面部法向量信息中的至少一種和所述編碼特征信息，得到所述第一面部圖像的第一面部特征。

3.根據權利要求1或2所述的方法，其特征在于，所述對所述第一面部特征進行映射得第二面部特征，包括：

通過特征映射網絡，對所述第一面部圖像中像素的第一特征進行映射，得到所述像素對應的第二特征，所述像素對應的第二特征的概率分布，與所述目標圖像中像素對應的第三特征的概率分布之間的距離滿足設定條件；

其中，所述第一面部圖像中像素對應的第一特征屬于所述第一面部特征，所述像素對應的第二特征屬于所述第二面部特征。

4.根據權利要求1至3任一項所述的方法，其特征在于，所述根據所述第一面部圖像以及所述第二面部特征，得到所述目標面部圖像，包括：

通過特征解碼網絡，對所述第二面部特征進行解碼，得到面部區域的圖像；

根據所述第一面部圖像中除所述面部區域之外的圖像以及所述面部區域的圖像，得到所述目標面部圖像。

5.根據權利要求2至4任一項所述的方法，其特征在于，所述編碼特征信息包括n階特征信息；

根據所述第一面部圖像的面部坐標信息和面部法向量信息中的至少一種和所述編碼特征信息，得到所述第一面部圖像的第一面部特征，包括：

將前M階特征信息分別與所述第一面部圖像的面部坐標信息和面部法向量信息中的至少一種連接，得到M階連接特征信息；

根據所述M階連接特征信息和后階特征信息得到所述第一面部特征，其中，所述后階特征信息包括所述編碼特征信息中除所述前M階特征信息之外的特征信息，n、M為正整數，Mn。

6.根據權利要求5所述的方法，其特征在于，所述對所述第一面部特征進行映射得到第二面部特征，包括：

對所述M階連接特征信息進行映射，得到與所述目標圖像的特征分布相匹配的M階映射特征信息；

所述通過特征解碼網絡，對所述第二面部特征進行解碼，得到面部區域的圖像，包括：

根據所述M階映射特征信息和所述后階特征信息，得到所述面部區域的圖像。

7.根據權利要求2至6任一項所述的方法，其特征在于，所述方法還包括，對所述特征編碼網絡、所述特征映射網絡、所述特征解碼網絡進行端到端訓練，其中，所述特征編碼網絡和所述特征解碼網絡共同與特征映射網絡輪流進行一代訓練。

8.根據權利要求7所述的方法，其特征在于，所述特征映射網絡是利用優化遷移網絡訓練得到的，所述優化遷移網絡包括所述特征映射網絡和距離評估網絡，所述訓練的網絡損失包括：

映射損失，用于指示所述距離評估網絡確定的所述第一面部圖像中像素的第二特征的概率分布，與所述目標圖像中像素對應的第三特征的概率分布之間的差異。

9.根據權利要求7所述的方法，其特征在于，所述特征編碼網絡和所述特征解碼網絡利用外觀遷移網絡訓練得到的，所述外觀遷移網絡包括所述特征編碼網絡、所述特征解碼網絡，所述訓練的網絡損失包括：

第一損失，用于指示所述第一面部圖像中像素的第二特征，與第一特征之間的差異；

第二損失，用于指示所述第一面部圖像中像素的第二特征，與所述目標圖像中相應像素的第三特征之間的差異。