[發(fā)明專利]人臉姿態(tài)估計(jì)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011472993.4
• 申請(qǐng)日: 2020-12-15
• 公開（公告）號(hào): CN112597847A
• 公開（公告）日: 2021-04-02
• 發(fā)明（設(shè)計(jì)）人: 王京;顧林松
• 申請(qǐng)（專利權(quán)）人: 深圳云天勵(lì)飛技術(shù)股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/08
• 代理公司: 深圳驛航知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44605
• 代理人: 楊倫

1.一種人臉姿態(tài)估計(jì)方法，其特征在于，包括：

獲取第一通道模式的第一待估計(jì)圖像，所述第一待估計(jì)圖像包括待估計(jì)的目標(biāo)人臉；

將所述第一待估計(jì)圖像進(jìn)行通道模式轉(zhuǎn)換，得到第二通道模式的第二待估計(jì)圖像；

將所述第二待估計(jì)圖像輸入預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行人臉三維參數(shù)預(yù)測(cè)，得到預(yù)測(cè)人臉三維參數(shù)，所述神經(jīng)網(wǎng)絡(luò)模型通過第一樣本人臉集與第二樣本人臉集訓(xùn)練，所述第一樣本人臉集中包括第一通道模式的樣本人臉，所述第二樣本人臉集中包括第二通道模式的樣本人臉；

基于所述人臉三維參數(shù)，對(duì)所述待估計(jì)的目標(biāo)人臉進(jìn)行人臉姿態(tài)估計(jì)。

2.如權(quán)利要求1所述的方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練步驟包括：

獲取第一樣本人臉集以及第二樣本人臉集，所述第一樣本人臉集包括對(duì)應(yīng)的人臉三維參數(shù)標(biāo)注數(shù)據(jù)，所述第二樣本人臉集包括對(duì)應(yīng)的人臉三維參數(shù)標(biāo)注數(shù)據(jù)；

以所述人臉三維參數(shù)為目標(biāo)函數(shù)構(gòu)建初始神經(jīng)網(wǎng)絡(luò)模型；

通過所述第一樣本人臉集對(duì)所述初始神經(jīng)網(wǎng)絡(luò)模型進(jìn)行第一訓(xùn)練，得到訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型；

通過所述第二樣本人臉集對(duì)所述訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型進(jìn)行第二訓(xùn)練，得到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型。

3.如權(quán)利要求2所述的方法，其特征在于，所述三維參數(shù)包括形狀參數(shù)和變換參數(shù)，所述獲取第一樣本人臉集，包括：

構(gòu)建三維人臉形變統(tǒng)計(jì)模型；

將所述第一通道模式的樣本人臉輸入到所述三維人臉形變統(tǒng)計(jì)模型中，得到三維人臉的形狀參數(shù)和變換參數(shù)；

通過所述三維人臉的形狀參數(shù)和變換參數(shù)，對(duì)所述第一通道模式的樣本人臉進(jìn)行數(shù)據(jù)標(biāo)注，得到所述第一樣本人臉集。

4.如權(quán)利要求3所述的方法，其特征在于，所述三維參數(shù)還包括表情參數(shù)，所述獲取第一樣本人臉集，還包括：

在所述三維人臉形變統(tǒng)計(jì)模型中擬合三維人臉的表情統(tǒng)計(jì)；

將所述第一通道模式的樣本人臉輸入到所述三維人臉形變統(tǒng)計(jì)模型中，得到三維人臉的形狀參數(shù)、表情參數(shù)和變換參數(shù)；

通過所述三維人臉的形狀參數(shù)、表情參數(shù)和變換參數(shù)，對(duì)所述第一通道模式的樣本人臉進(jìn)行數(shù)據(jù)標(biāo)注，得到所述第一樣本人臉集。

5.如權(quán)利要求3或4所述的方法，其特征在于，所述三維人臉形變統(tǒng)計(jì)模型包括三維人臉統(tǒng)計(jì)部分、三維人臉重建部分以及三維人臉變換部分，所述獲取第一樣本人臉集，還包括：

將所述第一通道模式的樣本人臉輸入到所述三維人臉形變統(tǒng)計(jì)模型中，得到樣本人臉的形狀參數(shù)，或得到樣本人臉的形狀參數(shù)和表情參數(shù)；

通過所述樣本人臉的形狀參數(shù)，或樣本人臉的形狀參數(shù)和表情參數(shù)，重建所述樣本人臉的三維人臉；

根據(jù)所述三維人臉與所述樣本人臉的映射關(guān)系，計(jì)算得到所述樣本人臉的變換參數(shù)。

6.如權(quán)利要求5所述的方法，其特征在于，其特征在于，所述獲取第一樣本人臉集，還包括：

通過所述三維人臉重建部分，獲取已標(biāo)注人臉三維參數(shù)的第一樣本人臉的三維人臉；

對(duì)所述三維人臉進(jìn)行三維層面的數(shù)據(jù)增強(qiáng)，得到數(shù)據(jù)增強(qiáng)后的多個(gè)三維人臉；

將所述多個(gè)三維人臉通過三維人臉變換部分，映射到二維平面，得到數(shù)據(jù)增強(qiáng)的第一樣本人臉以及對(duì)應(yīng)變換參數(shù)；

基于所述第一樣本人臉的已標(biāo)注人臉三維參數(shù)、所述數(shù)據(jù)增強(qiáng)的第一樣本人臉以及對(duì)應(yīng)變換參數(shù)，得到所述第一樣本人臉集。

7.如權(quán)利要求2至4任一所述的方法，其特征在于，所述獲取第二樣本人臉集，包括：

將所述第一樣本人臉集進(jìn)行通道模式轉(zhuǎn)換，得到第二通道模式的第二樣本人臉集。

8.如權(quán)利要求7所述的方法，其特征在于，所述獲取第二樣本人臉集，還包括：

對(duì)所述第二樣本人臉集中的第二樣本人臉進(jìn)行數(shù)據(jù)增強(qiáng)。