[發(fā)明專利]一種多視圖身份識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110863815.2
• 申請(qǐng)日: 2021-07-29
• 公開（公告）號(hào): CN113591692A
• 公開（公告）日: 2021-11-02
• 發(fā)明（設(shè)計(jì)）人: 張南海
• 申請(qǐng)（專利權(quán)）人: 贏識(shí)科技（杭州）有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62
• 代理公司: 杭州云睿專利代理事務(wù)所(普通合伙) 33254
• 代理人: 張驍敏

1.一種多視圖身份識(shí)別方法，其特征在于，包括以下步驟：

對(duì)輸入圖片采用一體化的檢測(cè)網(wǎng)絡(luò)進(jìn)行人臉、人體、上半身檢測(cè)，檢測(cè)網(wǎng)絡(luò)基于anchor-free的檢測(cè)框架，共享同一熱力圖，同時(shí)回歸人臉坐標(biāo)、人體坐標(biāo)、上半身坐標(biāo)；

依據(jù)坐標(biāo)信息，對(duì)人臉、人體、上半身分別進(jìn)行預(yù)處理，先檢測(cè)人臉的關(guān)鍵點(diǎn)，并根據(jù)關(guān)鍵點(diǎn)進(jìn)行人臉對(duì)齊，再將人體和上半身通過(guò)縮放至統(tǒng)一大小實(shí)現(xiàn)上半身對(duì)齊和人體對(duì)齊，形成新的輸入圖片；

將新的輸入圖片切成固定大小的小塊并進(jìn)行序列化，生成人臉視圖、上半身視圖和人體視圖，采用多模態(tài)融合特征提取網(wǎng)絡(luò)完成特征提取，多模態(tài)融合特征提取網(wǎng)絡(luò)的輸出作為特征，最后進(jìn)行特征比對(duì)完成身份識(shí)別。

2.根據(jù)權(quán)利要求1所述的一種多視圖身份識(shí)別方法，其特征在于，所述檢測(cè)網(wǎng)絡(luò)主干網(wǎng)絡(luò)采用深度全卷積神經(jīng)網(wǎng)絡(luò)，訓(xùn)練過(guò)程的熱力圖采用二分類損失函數(shù)監(jiān)督，熱力圖表示目標(biāo)的中心。

3.根據(jù)權(quán)利要求2所述的一種多視圖身份識(shí)別方法，其特征在于，所述檢測(cè)網(wǎng)絡(luò)還包括三個(gè)分支，分別學(xué)習(xí)人臉坐標(biāo)、人體坐標(biāo)和上半身坐標(biāo)，訓(xùn)練過(guò)程人臉、人體、上半身的坐標(biāo)采用L1損失函數(shù)監(jiān)督。

4.根據(jù)權(quán)利要求1所述的一種多視圖身份識(shí)別方法，其特征在于，所述人臉關(guān)鍵點(diǎn)的檢測(cè)通過(guò)檢測(cè)兩眼中心、鼻尖、兩嘴角五個(gè)關(guān)鍵點(diǎn)，利用這五個(gè)關(guān)鍵點(diǎn)做仿射變換以對(duì)齊人臉。

5.根據(jù)權(quán)利要求1所述的一種多視圖身份識(shí)別方法，其特征在于，所述多模態(tài)融合特征提取網(wǎng)絡(luò)基于transformer實(shí)現(xiàn)，人臉視圖、上半身視圖和人體視圖的每一種視圖都連接一個(gè)ViT網(wǎng)絡(luò)，上半身視圖與人臉視圖、人體視圖均共同連接有一個(gè)跨模態(tài)的ViT網(wǎng)絡(luò)，ViT網(wǎng)絡(luò)和跨模態(tài)的ViT網(wǎng)絡(luò)輸出的特征輸入至tranformer進(jìn)行特征融合，最后只需要計(jì)算tranformer的輸出作為特征。