[發明專利]一種三維人臉重建方法及裝置、設備和存儲介質

在審

• 申請號: 201811435701.2
• 申請日: 2018-11-28
• 公開（公告）號: CN109584358A
• 公開（公告）日: 2019-04-05
• 發明（設計）人: 樸鏡潭;王權;錢晨;王燦彬;李佳樺
• 申請（專利權）人: 深圳市商湯科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/20;G06T5/50;G06K9/00
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 王軍紅;張穎玲

本申請實施例提供一種三維人臉重建方法及裝置、設備和存儲介質，其中，獲取RGB圖像和與所述RGB圖像對應的深度圖像；對所述RGB圖像和所述深度圖像對齊后的圖像進行人臉檢測，確定人臉信息；對所述人臉信息進行處理，生成人臉模型。

技術領域

本申請實施例涉及計算機圖像處理領域，涉及但不限于一種三維人臉重建方法及裝置、設備和存儲介質。

背景技術

在計算機視覺領域中，三維重建技術根據單個紅綠藍(Red-Green-Blue，RGB)圖像或多個RGB圖像輸入重建三維信息。例如，多視圖的三維重建首先計算出拍攝圖像與現實世界坐標系的對應關系，然后分別根據各個圖像所包含的信息重建與現實高度相似的三維模型。現今，三維重建技術不僅在交互式立體游戲、遠程視頻會議等方面起到重要作用，在醫療領域也有極其廣泛的應用。但是在一般民眾容易獲取的移動端設備(例如智能手機、平板等)中并不能實現快速、精準的建模效果。

發明內容

有鑒于此，本申請實施例提供一種三維人臉重建方法及裝置、設備和存儲介質。

本申請實施例的技術方案是這樣實現的：

本申請實施例提供一種三維人臉重建方法，所述方法包括：

獲取RGB圖像和與所述RGB圖像對應的深度圖像；

對所述RGB圖像和所述深度圖像對齊后的圖像進行人臉檢測，確定人臉信息；

對所述人臉信息進行處理，生成人臉模型。

在本申請實施例中，所述人臉模型至少包括以下之一：人臉面具和三維人臉模型；所述人臉面具包含人臉結構特征，所述三維人臉模型包含人臉結構特征和人臉紋理信息。

在本申請實施例中，所述獲取RGB圖像和與所述RGB圖像對應的深度圖像，包括：

采用攝像頭獲取單幀RGB圖像，并采用深度攝像機獲取所述單幀RGB圖像對應的深度圖像；

或者，

所述獲取RGB圖像和與所述RGB圖像對應的深度圖像，包括：采用雙攝像頭獲取兩個單幀RGB圖像；

根據所述兩個單幀RGB圖像確定所述兩個單幀RGB圖像對應的深度圖像。

在本申請實施例中，所述對所述人臉信息進行處理，生成人臉模型，包括：

對所述人臉信息進行過濾，得到過濾后的人臉信息；

根據所述過濾后的人臉信息的空間分布信息，生成人臉面具。

在本申請實施例中，所述獲取RGB圖像和與所述RGB圖像對應的深度圖像，包括：

獲取所述M幀RGB圖像，并分別獲取與所述M幀RGB圖像對應的M幀深度圖像；其中，所述M幀RGB圖像包括同一人臉的不同角度的圖像；M為大于1的整數。

在本申請實施例中，所述對所述人臉信息進行處理，生成人臉模型，包括：

根據所述M幀深度圖像的人臉信息，從所述M幀深度圖像中篩選出滿足預設條件的N幀有效深度圖，N為大于0的整數，且N小于等于M；

將所述N幀有效深度圖進行融合，得到融合圖像；

根據所述融合圖像的人臉信息和預設的標準人臉模型，得到所述三維人臉模型。

在本申請實施例中，所述根據所述融合圖像的人臉信息和預設的標準人臉模型，得到所述三維人臉模型，包括：

將根據所述融合圖像的人臉信息對所述預設的標準人臉模型中人臉信息進行調整，得到初步三維人臉模型；

確定所述融合圖像對應的人臉紋理信息；