[發明專利]交互式人臉三維建模方法及裝置

在審

• 申請號: 201810990686.1
• 申請日: 2018-08-28
• 公開（公告）號: CN109345621A
• 公開（公告）日: 2019-02-15
• 發明（設計）人: 鄭從威
• 申請（專利權）人: 廣州智美科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/33;G06T7/50;G06T7/70
• 代理公司: 北京卓唐知識產權代理有限公司 11541
• 代理人: 唐海力;李志剛

1.一種交互式人臉三維建模方法，其特征在于，包括：

使用深度攝像頭捕獲人臉深度圖，并實時計算用戶頭部轉動姿態；

發出交互指令引導用戶調整頭部轉動角度并生成局部三維模型；以及

實時渲染累積建立的所述局部三維模型。

2.根據權利要求1所述的交互式人臉三維建模方法，其特征在于，根據深度攝像頭采集的人臉深度圖實時計算用戶頭部轉動角度之前還包括如下的任一一種多種預操作：

判斷彩色圖像中是否存在人臉；

判斷人臉框是否落在取景框內部；

判斷用戶臉部到深度攝像頭之間的距離是否滿足條件；

判斷用戶頭部是否端正。

3.根據權利要求1所述的交互式人臉三維建模方法，其特征在于，接收用戶根據所述交互指令調整的頭部轉動角度并生成局部三維模型包括：

將實時計算得到的用戶頭部偏轉角度與預設角度比較；

如果達到預設角度，則播放語音提示用戶向左轉頭部、向右轉頭部或者轉回到正臉；

其中，在用戶轉動頭部過程中：根據實時地捕獲不同角度的深度圖計算得到的用戶頭部運動姿態，并根據用戶頭部運動姿態將深度圖融合到累積建立的局部三維模型中。

4.根據權利要求1所述的交互式人臉三維建模方法，其特征在于，實時渲染累積建立的所述局部三維模型還包括：

實時地渲染當前累積建立好的局部三維模型數據；

獲取所述局部三維模型數據的平面渲染圖像；

將所述平面渲染圖像疊加繪制到當前深度攝像頭捕獲到彩色圖像上。

5.一種交互式人臉三維建模裝置，其特征在于，包括：

跟蹤模塊，用于根據深度攝像頭實時計算用戶頭部轉動角度；

交互模塊，用于根據所述用戶頭部轉動角度向用戶發出交互指令，向用戶發出交互指令引導用戶調整頭部轉動角度并生成局部三維模型；以及

渲染模塊，用于實時渲染累積建立的所述局部三維模型。

6.根據權利要求5所述的交互式人臉三維建模裝置，其特征在于，所述交互模塊包括：

交互提示單元，用于在用戶頭部轉動角度達到預設預設角度時，播放語音提示用戶向左轉頭部、向右轉頭部或者轉回到正臉；在用戶頭部轉動過程中不斷地捕獲不同角度的深度圖，并根據跟蹤模塊實時計算得到的用戶頭部姿態，將深度圖融合到當前累積建立好的局部三維模型中。

7.根據權利要求5所述交互式人臉三維建模裝置，其特征在于，所述跟蹤模塊包括：

配準單元，用于實時將人臉區域的深度圖與當前累積建立的局部三維模型數據配準，實時計算用戶頭部的姿態，并從姿態中提取用戶頭部偏轉角度。

8.根據權利要求5所述的交互式人臉三維建模裝置，其特征在于，所述渲染模塊包括：

實時渲染單元，用于實時地渲染當前累積建立好的局部三維模型數據；

獲取單元，用于得到所述局部三維模型數據的平面渲染圖像；

疊加單元，用于將所述平面渲染圖像疊加繪制到當前深度攝像頭捕獲到彩色圖像上。

9.一種交互式人臉三維建模裝置，其特征在于，包括：深度攝像頭和智能終端，通過在所述智能終端預先安裝圖像處理應用程序，所述深度攝像頭前置安裝于所述智能終端，所述裝置用于在用戶面向所述深度攝像頭向左右轉頭時通過所述圖像處理應用程序調用深度攝像頭獲取當前圖像幀中的深度圖和彩色圖像；

所述裝置還用于實時跟蹤用戶轉頭動作的姿態、實時渲染累積建立的局部三維模型，所述圖像處理應用程序在預設角度提示用戶向左右轉頭或轉回到正臉。