[發明專利]三維人臉重建的方法、裝置、系統及計算機存儲介質

在審

• 申請號: 201711338060.4
• 申請日: 2017-12-14
• 公開（公告）號: CN108876893A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 熊鵬飛
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉;劉愛平

1.一種三維人臉重建的方法，其特征在于，所述方法包括：

將待處理人臉圖像輸入至訓練好的估計網絡，得到第一向量和第二向量，其中，所述第一向量表示所述待處理人臉圖像中人臉的M個形狀點的三維坐標，所述第二向量表示所述待處理人臉圖像中人臉的三維姿態，M為正整數；

利用所述第二向量對標準三維人臉模型進行調整，使得所述標準三維人臉模型的三維姿態與所述待處理人臉圖像中的人臉的三維姿態一致；

基于所述第一向量表示的M個形狀點，對所述調整后的標準三維人臉模型進行變形，得到所述待處理人臉圖像中所述人臉所對應的三維人臉模型。

2.根據權利要求1所述的方法，其特征在于，所述估計網絡包括形狀點估計網絡和姿態估計網絡，所述將待處理人臉圖像輸入至訓練好的估計網絡，得到第一向量和第二向量，包括：

將待處理人臉圖像輸入至訓練好的所述形狀點估計網絡，得到所述第一向量；

將所述待處理圖像輸入至訓練好的所述姿態估計網絡，得到所述第二向量。

3.根據權利要求2所述的方法，其特征在于，所述形狀點估計網絡通過如下方式訓練得到：

構建三維人臉數據庫，所述三維人臉數據庫中的每張人臉圖像包括M個形狀點三維坐標；

利用所述三維人臉數據庫對所述形狀點估計網絡進行訓練。

4.根據權利要求2所述的方法，其特征在于，所述姿態估計網絡通過如下方式訓練得到：

構建三維人臉數據庫，所述三維人臉數據庫中的每張人臉圖像包括表示所述人臉圖像中人臉的三維姿態的三維向量；

利用所述三維人臉數據庫對所述形狀點估計網絡進行訓練。

5.根據權利要求1所述的方法，其特征在于，所述估計網絡通過如下方式訓練得到：

構建三維人臉數據庫，所述三維人臉數據庫中的每張人臉圖像包括M個形狀點三維坐標以及表示所述人臉圖像中人臉的三維姿態的三維向量；

利用所述三維人臉數據庫對所述估計網絡進行訓練。

6.根據權利要求1所述的方法，其特征在于，所述利用所述第二向量對標準三維人臉模型進行調整，包括：

利用所述第二向量，將所述標準三維人臉模型進行旋轉，以得到所述調整后的標準三維人臉模型。

7.根據權利要求1所述的方法，其特征在于，所述基于所述第一向量表示的M個形狀點，對所述調整后的標準三維人臉模型進行變形，得到所述待處理人臉圖像中所述人臉所對應的三維人臉模型，包括：

將所述M個形狀點與所述調整后的標準三維人臉模型中的對應三維坐標點進行匹配；

采用捆綁調整的方法將所述調整后的標準三維人臉模型中的三維坐標點進行變形，得到變形后的標準三維人臉模型，以使所述M個形狀點與所匹配的對應三維坐標點之間的差值最小。

8.根據權利要求1所述的方法，其特征在于，所述標準三維人臉模型包括N個三維坐標點以及對應的三角面片，其中N為正整數且N遠大于M。

9.根據權利要求1至8中任一項所述的方法，其特征在于，所述三維姿態包括俯仰角、偏航角和翻滾角。

10.一種三維人臉重建的裝置，其特征在于，所述裝置包括：

估計模塊，用于將待處理人臉圖像輸入至訓練好的估計網絡，得到第一向量和第二向量，其中，所述第一向量表示所述待處理人臉圖像中人臉的M個形狀點的三維坐標，所述第二向量表示所述待處理人臉圖像中人臉的三維姿態，M為正整數；

調整模塊，用于利用所述第二向量對標準三維人臉模型進行調整，使得所述標準三維人臉模型的三維姿態與所述待處理人臉圖像中的人臉的三維姿態一致；

變形模塊，用于基于所述第一向量表示的M個形狀點，對所述調整后的標準三維人臉模型進行變形，得到所述待處理人臉圖像中所述人臉所對應的三維人臉模型。