[發明專利]一種三維人臉模型建模方法及系統

在審

• 申請號: 202010927441.1
• 申請日: 2020-09-07
• 公開（公告）號: CN112017230A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 余小歡;李金羲;黃澤仕;陳嵩;白云峰
• 申請（專利權）人: 浙江光珀智能科技有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 杭州鈐韜知識產權代理事務所(普通合伙) 33329
• 代理人: 趙杰香;唐靈

本發明公開了一種三維人臉模型建模方法，采集當前目標對象的數據序列，并構建對應的局部頭部三維模型，將局部頭部三維模型與服務器端的全局三維人臉模型進行融合實現了全局三維人臉模型的更新。通過本發明能夠獲取更加全面和精度更高的三維人臉模型。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及一種三維人臉模型建模方法及系統。

背景技術

傳統的三維人臉重建的方案主要包括：多角度的三維相機或是普通相機對固定不動的人進行拍攝，然后使用算法拼接到一起得到人臉的三維模型。單個三維相機或是普通相機固定，人頭部運動然后通過算法獲得頭部的運動姿態信息，最后計算得到人臉的三維模型。

基于多角度拍攝然后進行拼接的方法設計簡單，其算法也容易實現，但是其硬件成本昂貴，設備結構相對復雜和龐大，不適合于安防和消費電子等領域。基于單個相機拍攝通過頭部姿態估計的方法主要包括兩種思路：基于通用三維人臉模型匹配調整的方法和基于多幀匹配結算剛體變換的方法。這兩種方法都需要人主動配合旋轉多個角度才能獲取完整的頭部信息，但是實際場景應用中，很多情況下只能獲取某個角度(正臉或者某個視角的側臉)或者小范圍角度的信息，因此這兩種方法都無法高效獲取全角度的人臉三維模型信息。

公開號為CN106327571A的專利申請提出了一種三維人臉模型建模的技術方案，該方案與預設的三維人臉庫進行擬合的方式獲取三維人臉模型，該方案的缺點包括：方案依賴于三維人臉庫，該方式獲取的臉部模型不完整，眼睛和耳朵等部位均是信息缺失的；依賴于三維人臉庫，對于不同人種的人缺乏通用性，并且構建人臉庫本身就是很繁雜的工作；精確度低，該方案通過對擬和的三維人臉模型進行調整約束，當相機深度數據精度抖動時，得到人臉模型精度很低；適應性差，需要人主動配合旋轉多個角度才能獲取完整的頭部信息；無法實現客戶端和服務器端人臉模型的協同更新，只能對單個目標進行建模。公開號為CN109472820A的專利申請提出了一種單目RGB-D相機實時人臉模型建模的方法，該方法采用RGB-D相機得到3D點云信息，基于ICP算法得到人臉運動的位姿，然后將3D點云拼接到一起更新得到臉部的3D模型信息。該技術方案的缺點是：適應性差，需要人主動配合旋轉多個角度才能獲取完整的頭部信息；無法實現客戶端和服務器端人臉模型的協同更新；只能對單個目標進行建模。

發明內容

基于此，本發明的目的在于提供一種三維人臉模型建模方法及系統，能夠獲取更加全面和精度更高的三維人臉模型。

為實現上述目的，本發明提供了一種三維人臉模型建模方法，所述方法包括：

S1、獲取當前目標對象的具有m幀圖像的數據序列，對所述數據序列進行圖像特征提取，并獲取到當前目標對象的人臉特征信息；

S2、將所述當前目標對象的人臉特征信息與一數據庫中的人臉特征信息進行匹配，獲取到所述數據庫中的所匹配的對象，以及該匹配對象所對應的全局三維人臉模型，其中，所述數據庫中包括若干個對象的人臉特征信息以及對應的全局三維人臉模型；

S3、對所述數據序列采用深度數據融合的方式進行融合，得到當前目標對象所對應的局部頭部三維模型；

S4、將所述當前目標對象所對應的局部頭部三維模型與所述匹配對象對應的全局三維人臉模型進行模型融合，得到更新后的全局三維人臉模型。

優選的，所述步驟S1包括：

通過客戶端采集并獲取當前目測對象的具有m幀圖像的數據序列D_k＝{d₁，d₂…d_m}，m表述圖像幀數，每一幀圖像包括一張深度圖和一張RGB圖像。

優選的，所述步驟S1還包括：