[發(fā)明專利]一種三維人臉模型建模方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010927441.1
• 申請(qǐng)日: 2020-09-07
• 公開（公告）號(hào): CN112017230A
• 公開（公告）日: 2020-12-01
• 發(fā)明（設(shè)計(jì)）人: 余小歡;李金羲;黃澤仕;陳嵩;白云峰
• 申請(qǐng)（專利權(quán)）人: 浙江光珀智能科技有限公司
• 主分類號(hào): G06T7/55
• 分類號(hào): G06T7/55;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 杭州鈐韜知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33329
• 代理人: 趙杰香;唐靈

1.一種三維人臉模型建模方法，其特征在于，所述方法包括：

S1、獲取當(dāng)前目標(biāo)對(duì)象的具有m幀圖像的數(shù)據(jù)序列，對(duì)所述數(shù)據(jù)序列進(jìn)行圖像特征提取，并獲取到當(dāng)前目標(biāo)對(duì)象的人臉特征信息；

S2、將所述當(dāng)前目標(biāo)對(duì)象的人臉特征信息與一數(shù)據(jù)庫(kù)中的人臉特征信息進(jìn)行匹配，獲取到所述數(shù)據(jù)庫(kù)中的所匹配的對(duì)象，以及該匹配對(duì)象所對(duì)應(yīng)的全局三維人臉模型，其中，所述數(shù)據(jù)庫(kù)中包括若干個(gè)對(duì)象的人臉特征信息以及對(duì)應(yīng)的全局三維人臉模型；

S3、對(duì)所述數(shù)據(jù)序列采用深度數(shù)據(jù)融合的方式進(jìn)行融合，得到當(dāng)前目標(biāo)對(duì)象所對(duì)應(yīng)的局部頭部三維模型；

S4、將所述當(dāng)前目標(biāo)對(duì)象所對(duì)應(yīng)的局部頭部三維模型與所述匹配對(duì)象對(duì)應(yīng)的全局三維人臉模型進(jìn)行模型融合，得到更新后的全局三維人臉模型。

2.如權(quán)利要求1所述的三維人臉模型建模方法，其特征在于，所述步驟S1包括：

通過(guò)客戶端采集并獲取當(dāng)前目測(cè)對(duì)象的具有m幀圖像的數(shù)據(jù)序列D_k＝{d₁，d₂…d_m}，m表述圖像幀數(shù)，每一幀圖像包括一張深度圖和一張RGB圖像。

3.如權(quán)利要求2所述的三維人臉模型建模方法，其特征在于，所述步驟S1還包括：

從所述數(shù)據(jù)序列D_k中隨機(jī)挑選3幀圖像，識(shí)別并檢測(cè)出每一幀圖像中的人臉區(qū)域的RGB圖像塊序列face_j(j＝1,2,3)；

將每一個(gè)人臉區(qū)域的RGB圖像塊序列face_j的分辨率變換到100*100的分辨率；

將所述每一個(gè)人臉區(qū)域的RGB圖像塊序列face_j輸入到一卷積神經(jīng)網(wǎng)絡(luò)模型，所述卷積神經(jīng)網(wǎng)絡(luò)模型包含10層卷積層、5層池化層以及1個(gè)全連接層，輸出當(dāng)前目標(biāo)對(duì)象的三個(gè)維度為320維的人臉特征信息features_j(j＝1,2,3)。

4.如權(quán)利要求3所述的三維人臉模型建模方法，其特征在于，所述步驟S2包括：

所述數(shù)據(jù)庫(kù)存儲(chǔ)于服務(wù)器端；

在所述數(shù)據(jù)庫(kù)中，采用最近鄰搜索方法將所述當(dāng)前目標(biāo)對(duì)象的三個(gè)維度為320維的人臉特征信息features_j(j＝1,2,3)一一與所述數(shù)據(jù)庫(kù)中的若干個(gè)對(duì)象的人臉特征信息進(jìn)行特征匹配，獲取到所述數(shù)據(jù)庫(kù)中與每一個(gè)人臉特征信息features_j的匹配度最高的兩個(gè)候選對(duì)象candidate_jk(j＝1,2,3，k＝1,2)，k表示兩個(gè)候選對(duì)象；

遍歷每一個(gè)候選對(duì)象candidate_jk，計(jì)算該候選對(duì)象與每一個(gè)人臉特征信息features_j的匹配度，若該候選對(duì)象所對(duì)應(yīng)的匹配度大于0.6并且大于0.6的匹配度至少有三次，則該候選對(duì)象與所述人臉特征信息的匹配度最高，獲取所述數(shù)據(jù)庫(kù)中與所述當(dāng)前目標(biāo)對(duì)象相匹配的對(duì)象；

在所述數(shù)據(jù)庫(kù)中獲取所述匹配對(duì)象對(duì)應(yīng)的全局三維人臉模型。

5.如權(quán)利要求4所述的三維人臉模型建模方法，其特征在于，所述步驟S2還包括：通過(guò)計(jì)算當(dāng)前目標(biāo)對(duì)象的人臉特征向量與所述數(shù)據(jù)庫(kù)中的每一個(gè)對(duì)象的人臉特征向量的余弦距離得到匹配度。

6.如權(quán)利要求5所述的三維人臉模型建模方法，其特征在于，所述步驟S2還包括：

若所述人臉特征信息與所述數(shù)據(jù)庫(kù)中的若干個(gè)對(duì)象的人臉特征信息匹配失敗，則將三個(gè)人臉特征信息features_j進(jìn)行加權(quán)取平均得到新對(duì)象的人臉特征信息；

在所述數(shù)據(jù)庫(kù)中初始化該新對(duì)象的人臉特征信息，并構(gòu)建新對(duì)象所對(duì)應(yīng)的初始全局三維人臉模型。