[發明專利]臉部圖像處理方法、裝置、設備及計算機存儲介質

在審

• 申請號: 201910526812.2
• 申請日: 2019-06-18
• 公開（公告）號: CN112102146A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 王山虎;覃威寧;張濤;朱威;唐杰
• 申請（專利權）人: 北京陌陌信息技術有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 彭瓊

1.一種臉部圖像處理方法，其特征在于，包括：

接收第一用戶的多張第一人臉圖像，并分別獲取每張所述第一人臉圖像的關鍵點；

將多張所述第一人臉圖像的關鍵點輸入三維形變模型3DMM模型進行聯合迭代求解，得到所述第一用戶的人臉對應的形狀參數的統一解；

接收第二用戶的多張第二人臉圖像，并分別獲取每張所述第二人臉圖像的關鍵點；

將多張所述第二人臉圖像的關鍵點輸入所述3DMM模型進行聯合迭代求解，得到每張所述第二人臉圖像對應的表情參數和姿態參數的單一解；

將所述第一用戶的人臉對應的形狀參數的統一解、所述第二人臉圖像對應的表情參數和姿態參數的單一解代入所述3DMM模型，得到將所述第二人臉圖像中的臉部輪廓替換為所述第一用戶的臉部輪廓后的換臉圖。

2.根據權利要求1所述的方法，其特征在于，所述聯合迭代求解的過程包括：

根據輸入的任意一張人臉圖像的關鍵點確定其對應的3D點的初始坐標；

依據該人臉圖像的關鍵點以及所述3D點求解得到形狀參數、表情參數和姿態參數的數值；

對輸入的關鍵點重復執行以下第一種迭代操作或者重復執行以下第二種迭代操作，直至滿足迭代結束條件，得到所述形狀參數的統一解以及每張所述人臉圖像對應的表情參數和姿態參數的單一解；

其中，第一種迭代操作包括：

將所述表情參數和所述姿態參數設置為當前求得的最新數值，依據輸入的全部人臉圖像的關鍵點進行聯立求解，得到所述形狀參數的最新數值；

將所述形狀參數和所述姿態參數設置為當前求得的最新數值，并分別依據每張所述人臉圖像的關鍵點求解所述表情參數的數值，得到每張所述人臉圖像對應的所述表情參數的最新數值；

將所述形狀參數和所述表情參數設置為當前求得的最新數值，并分別依據每張所述人臉圖像的關鍵點求解所述姿態參數的數值，得到每張所述人臉圖像對應的所述姿態參數的最新數值；

第二種迭代操作包括：

將所述表情參數和所述姿態參數設置為當前求得的最新數值，依據輸入的全部人臉圖像的關鍵點進行聯立求解，得到所述形狀參數的最新數值；

將所述形狀參數和所述表情參數設置為當前求得的最新數值，并分別依據每張所述人臉圖像的關鍵點求解所述姿態參數的數值，得到每張所述人臉圖像對應的所述姿態參數的最新數值；

將所述形狀參數和所述姿態參數設置為當前求得的最新數值，并分別依據每張所述人臉圖像的關鍵點求解所述表情參數的數值，得到每張所述人臉圖像對應的所述表情參數的最新數值。

3.根據權利要求2所述的方法，其特征在于，當所述第二用戶的前n幀第二人臉圖像完成上述臉部輪廓替換后，在對所述第二用戶后續的第二人臉圖像進行聯合迭代求解的過程中，還包括：

按照前n幀第二人臉圖像對應的形狀參數的統一解，設置后續的每張第二人臉圖像的形狀參數；其中，n大于1。

4.根據權利要求2所述的方法，其特征在于，所述第一人臉圖像對應的迭代結束條件包括：形狀參數保持不變；

所述第二人臉圖像對應的迭代結束條件包括：形狀參數保持不變，且，依據每張所述第二人臉圖像的姿態參數和表情參數得到的2D點與該第二人臉圖像直接提取的關鍵點之間的均方根誤差小于預設閾值。

5.根據權利要求2所述的方法，其特征在于，所述第一人臉圖像對應的迭代結束條件包括：迭代次數達到2次；所述第二人臉圖像對應的迭代結束條件包括：迭代次數達到2次。