[發(fā)明專利]人臉識(shí)別的方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210183813.3
• 申請(qǐng)日: 2022-02-28
• 公開(kāi)（公告）號(hào): CN114581978A
• 公開(kāi)（公告）日: 2022-06-03
• 發(fā)明（設(shè)計(jì)）人: 王澤榮;馬晨光
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/764;G06V10/80;G06V10/82;G06V10/774;G06K9/62
• 代理公司: 北京市一法律師事務(wù)所 11654
• 代理人: 李琳娜;劉榮娟

1.一種人臉識(shí)別的方法，包括：

獲取目標(biāo)人臉的目標(biāo)圖像，所述目標(biāo)圖像包括二維圖像或所述二維圖像以及深度圖像；

基于所述目標(biāo)圖像，確定所述目標(biāo)人臉的二維特征和三維特征，所述三維特征包括采集三維特征和估計(jì)三維特征中的一種，所述采集三維特征包括基于所述深度圖像獲取的深度特征，所述估計(jì)三維特征包括基于所述二維特征估計(jì)得到的深度特征；

基于預(yù)先訓(xùn)練好的特征融合模型對(duì)所述二維特征與所述三維特征進(jìn)行特征融合，確定目標(biāo)融合特征，所述特征融合模型是基于樣本用戶人臉的所述二維特征、所述采集三維特征以及所述估計(jì)三維特征訓(xùn)練得到的；以及

基于所述目標(biāo)融合特征識(shí)別所述目標(biāo)人臉。

2.如權(quán)利要求1所述的人臉識(shí)別的方法，其中，所述獲取目標(biāo)人臉的目標(biāo)圖像，包括：

從客戶端的圖像采集設(shè)備獲取所述目標(biāo)圖像，其中，所述圖像采集設(shè)備包括二維圖像采集設(shè)備或二維圖像采集設(shè)備和深度圖像采集設(shè)備，所述二維圖像采集設(shè)備被配置為采集所述二維圖像，所述深度圖像采集設(shè)備被配置為采集所述深度圖像。

3.如權(quán)利要求1所述的人臉識(shí)別的方法，其中，所述基于所述目標(biāo)圖像，確定所述目標(biāo)人臉的二維特征和三維特征，包括：

對(duì)所述二維圖像進(jìn)行特征提取，確定所述二維特征；以及

基于所述目標(biāo)圖像，確定所述三維特征，包括以下方式中的一種：

確定所述目標(biāo)圖像中包括所述深度圖像，對(duì)所述深度圖像進(jìn)行特征提取，確定所述采集三維特征；以及

確定所述目標(biāo)圖像中不包括所述深度圖像，將所述二維特征輸入到預(yù)先訓(xùn)練好的三維特征估計(jì)模型中，以對(duì)所述二維特征進(jìn)行計(jì)算，確定所述估計(jì)三維特征。

4.如權(quán)利要求3所述的人臉識(shí)別的方法，其中，所述對(duì)所述二維圖像進(jìn)行特征提取，確定所述二維特征，包括：

將所述二維圖像輸入到預(yù)先訓(xùn)練的二維特征提取模型中，以對(duì)所述二維圖像進(jìn)行特征提取，得到所述二維圖像對(duì)應(yīng)的所述二維特征，所述二維特征提取模型是基于多個(gè)不同的歷史二維圖像進(jìn)行模型訓(xùn)練得到。

5.如權(quán)利要求3所述的人臉識(shí)別的方法，其中，所述對(duì)所述深度圖像進(jìn)行特征提取，確定所述采集三維特征，包括：

將所述深度圖像輸入到預(yù)先訓(xùn)練的三維特征提取模型中，以對(duì)所述深度圖像進(jìn)行特征提取，得到所述深度圖像對(duì)應(yīng)的所述采集三維特征，所述三維特征提取模型是基于多個(gè)不同的歷史深度圖像進(jìn)行模型訓(xùn)練得到。

6.如權(quán)利要求3所述的人臉識(shí)別的方法，其中，所述三維特征估計(jì)模型的訓(xùn)練方法包括：

將所述樣本用戶的人臉的所述二維特征輸入待訓(xùn)練的所述三維特征估計(jì)模型，得到對(duì)應(yīng)的預(yù)測(cè)估計(jì)三維特征；

獲取針對(duì)所述樣本用戶的基于所述預(yù)測(cè)估計(jì)三維特征的三元組數(shù)據(jù)，所述三元組數(shù)據(jù)包括所述樣本用戶的所述預(yù)測(cè)估計(jì)三維特征、與所述樣本用戶具有相同用戶標(biāo)識(shí)的用戶的所述采集三維特征以及與所述樣本用戶具有不同用戶標(biāo)識(shí)的用戶的所述采集三維特征；以及

基于所述三元組數(shù)據(jù)，以所述預(yù)測(cè)估計(jì)三維特征與具有相同用戶標(biāo)識(shí)的所述樣本用戶的所述采集三維特征之間的相似度最大化，以及所述預(yù)測(cè)估計(jì)三維特征與具有不同用戶標(biāo)識(shí)的所述樣本用戶的所述采集三維特征之間的相似度最小化為優(yōu)化目標(biāo)，對(duì)所述三維特征估計(jì)模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的所述三維特征估計(jì)模型。

7.如權(quán)利要求1所述的人臉識(shí)別的方法，其中，所述特征融合模型的訓(xùn)練方法包括：

將所述樣本用戶的人臉的所述二維特征和所述采集三維特征作為所述樣本用戶的第一樣本數(shù)據(jù)，將所述樣本用戶的人臉的所述二維特征和所述估計(jì)三維特征作為所述樣本用戶的第二樣本數(shù)據(jù)，分別將所述樣本用戶的所述第一樣本數(shù)據(jù)以及所述第二樣本數(shù)據(jù)輸入待訓(xùn)練的所述特征融合模型；

將所述特征融合模型的輸出結(jié)果輸入待訓(xùn)練的分類概率模型，所述第一樣本數(shù)據(jù)以及所述第二樣本數(shù)據(jù)對(duì)應(yīng)的分類標(biāo)注為其各自對(duì)應(yīng)的所述樣本用戶的用戶標(biāo)識(shí)；以及

至少以所述分類概率模型的輸出值與其對(duì)應(yīng)的所述分類標(biāo)注之間的相似度最大為優(yōu)化目標(biāo)，對(duì)所述特征融合模型和所述分類概率模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的所述特征融合模型。