[發明專利]三維人臉模型重建方法及裝置

在審

• 申請號: 201810690747.2
• 申請日: 2018-06-28
• 公開（公告）號: CN109035388A
• 公開（公告）日: 2018-12-18
• 發明（設計）人: 戶磊
• 申請（專利權）人: 北京的盧深視科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/04
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

本發明實施例公開一種三維人臉模型重建方法及裝置，能提高三維人臉模型重建的精度和速度。方法包括：S1、獲取待處理的人臉深度圖和人臉彩色圖，將所述待處理的人臉深度圖和人臉彩色圖輸入預先訓練好的粗學習網絡，得到參數化三維人臉模型系數，根據所述參數化三維人臉模型系數確定初始的三維人臉模型；S2、將所述初始的三維人臉模型和人臉彩色圖上的亮度值轉化成4通道的UV圖片，將所述UV圖片輸入預先訓練好的細學習網絡，得到待重建的三維人臉模型的各個網格點在各自法線方向上的偏移；S3、根據所述參數化三維人臉模型系數和所述各個網格點在各自法線方向上的偏移重建三維人臉模型。

技術領域

本發明實施例涉及圖像處理技術領域，具體涉及一種三維人臉模型重建方法及裝置。

背景技術

三維人臉重建主要有三種方法：手動建模，儀器采集和基于圖像的少量交互或完全自動建模。手工建模作為最早的三維建模手段，現在仍然被廣泛地使用。手工建模一般需要有經驗的專業人士借助Autodesk Maya、3DMax等軟件來完成。由于手動建模需要耗費大量的人力與時間，三維人臉建模儀器作為更為方便的方法得到了長期的研究和發展。其中的典型代表有基于結構光和激光掃描技術的精密三維采集儀器和深度相機等?；诰軆x器采集的三維模型，精度可達毫米級，是物體的真實三維數據，可以用來為基于圖像的建模方法提供評價數據庫，但這些設備一般價格高昂，且使用需經過專業培訓，不適合于消費級的市場。最近，市場上出現了Microsoft Kinect、Intel RealSense、PrimeSense等深度相機，研究者可以利用深度相機采集到的深度信息來重建三維模型。和精密采集儀器相比，深度相機價格較低廉且更易于使用，但相比于RGB相機而言，這些設備仍較為少見?；趫D像的建模技術是指通過多張或單張人臉圖像來重建三維人臉模型。和人臉建模儀器相比，基于圖像的建模方法只需要傳統RGB相機采集的人臉圖片，因此應用場景更為廣泛。

由于人臉具有較多共性，如具有特定數目的眼睛，嘴巴，鼻子，耳朵且相對位置不變，因此可以建立一個人臉的參數化模型，將復雜的三維人臉參數化到一個低維的空間。傳統的基于圖像的三維人臉建模技術一般把參數化模型作為先驗，利用人臉關鍵點信息和顏色信息來優化參數化模型的相關系數。但這些方法存在一些問題：基于關鍵點信息的優化僅利用了稀疏的關鍵點信息，三維重建精度較低；基于顏色的優化要經過比較耗時的計算，且對光照比較敏感。

發明內容

針對現有技術存在的不足和缺陷，本發明實施例提供一種三維人臉模型重建方法及裝置。

一方面，本發明實施例提出一種三維人臉模型重建方法，包括：

S1、獲取待處理的人臉深度圖和人臉彩色圖，將所述待處理的人臉深度圖和人臉彩色圖輸入預先訓練好的粗學習網絡，得到參數化三維人臉模型系數，根據所述參數化三維人臉模型系數確定初始的三維人臉模型；

S2、將所述初始的三維人臉模型和人臉彩色圖上的亮度值轉化成4通道的UV圖片，將所述UV圖片輸入預先訓練好的細學習網絡，得到待重建的三維人臉模型的各個網格點在各自法線方向上的偏移；

S3、根據所述參數化三維人臉模型系數和所述各個網格點在各自法線方向上的偏移重建三維人臉模型。

另一方面，本發明實施例提出一種三維人臉模型重建裝置，包括：

第一輸入單元，用于獲取待處理的人臉深度圖和人臉彩色圖，將所述待處理的人臉深度圖和人臉彩色圖輸入預先訓練好的粗學習網絡，得到參數化三維人臉模型系數，根據所述參數化三維人臉模型系數確定初始的三維人臉模型；

第二輸入單元，用于將所述初始的三維人臉模型和人臉彩色圖上的亮度值轉化成4通道的UV圖片，將所述UV圖片輸入預先訓練好的細學習網絡，得到待重建的三維人臉模型的各個網格點在各自法線方向上的偏移；

重建單元，用于根據所述參數化三維人臉模型系數和所述各個網格點在各自法線方向上的偏移重建三維人臉模型。