[發明專利]一種重建人臉三維模型的方法和裝置

在審

• 申請號: 201810032056.3
• 申請日: 2018-01-12
• 公開（公告）號: CN108062791A
• 公開（公告）日: 2018-05-22
• 發明（設計）人: 肖勝濤;劉洛麒;程斌
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T3/00
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權鮮枝;何立春

1.一種重建人臉三維模型的方法，其中，該方法包括：

根據包含指定人臉的二維圖像/視頻，檢測出所述指定人臉的二維特征點集合S；

構建初始的人臉三維模型，通過將所述初始的人臉三維模型中的三維特征點投影到二維空間后與所述S中的二維特征點進行擬合，估計出所述指定人臉的三維模型參數；

根據估計出的指定人臉的三維模型參數，對圖像/視頻中的人臉進行特效處理。

2.如權利要求1所述的方法，其中，通過將所述初始的人臉三維模型中的三維特征點投影到二維空間后與所述S中的二維特征點進行擬合，估計出所述指定人臉的三維模型參數包括：

根據公式||Proj(RV)-S||2進行擬合計算，獲得該公式收斂時的人臉三維模型參數；其中：RV是初始的人臉三維模型，V是人臉三維重建點集合，R為旋轉平移矩陣；Proj表示三維空間點在二維空間上的投影。

3.如權利要求2所述的方法，其中，所述構建初始的人臉三維模型包括：

確定人臉三維重建點集合其中，是人臉的三維平均模型，A是人臉三維重建時主成分分析PCA方法的基，α是三維重建系數；

為旋轉平移矩陣R所包括的三個旋轉角度和三個水平移動變量設定初始值；

獲得初始的人臉三維模型RV。

4.如權利要求3所述的方法，其中，

根據人臉三維模型庫中的各人臉三維模型，計算人臉的三維平均模型以及計算人臉三維重建時主成分分析PCA方法的基A。

5.如權利要求3所述的方法，其中，所述根據公式||Proj(RV)-S||2進行擬合計算包括：

采用梯度下降法對R和α分別進行優化，直到||Proj(RV)-S||2收斂。

6.如權利要求2-5中任一項所述的方法，其中，根據估計出的指定人臉的三維模型參數，對圖像/視頻中的人臉進行特效處理包括：

將作為人臉三維模型參數之一的旋轉平移矩陣R應用到三維萌顏模型G上，得到旋轉平移后的三維萌顏模型RG；

將旋轉平移后的三維萌顏模型投影到圖像/視頻中的指定人臉上。

7.如權利要求6所述的方法，其中，將旋轉平移后的三維萌顏模型投影到圖像/視頻中的指定人臉上，該方法進一步包括：

通過比較旋轉平移后的三維萌顏模型的深度信息和人臉全模型RV的深度信息來判斷較旋轉平移后的三維萌顏模型與圖像/視頻中的指定人臉的遮擋關系。

8.一種重建人臉三維模型的裝置，其中，該裝置包括：

檢測單元，適于根據包含指定人臉的二維圖像/視頻，檢測出所述指定人臉的二維特征點集合S；

參數估計單元，適于構建初始的人臉三維模型，通過將所述初始的人臉三維模型中的三維特征點投影到二維空間后與所述S中的二維特征點進行擬合，估計出所述指定人臉的三維模型參數；

處理單元，適于根據估計出的指定人臉的三維模型參數，對圖像/視頻中的人臉進行特效處理。