[發明專利]人臉活體檢測方法、裝置、電子設備及存儲介質

有效

• 申請號: 202111180614.9
• 申請日: 2021-10-11
• 公開（公告）號: CN113610071B
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 李運濤;韓晶;童志軍;丁小羽
• 申請（專利權）人: 深圳市一心視覺科技有限公司;南京閱面科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 張瑞志

1.一種人臉活體檢測方法，其特征在于，包括：

獲取人臉檢測圖像，所述人臉檢測圖像包括人臉的紅外圖像和深度圖像；

根據所述紅外圖像得到全局紅外圖像和局部紅外圖像，根據所述深度圖像得到全局深度圖像和局部深度圖像；

將所述全局紅外圖像輸入全局紅外網絡模型，得到全局紅外分類特征；將所述局部紅外圖像輸入局部紅外網絡模型，得到局部紅外分類特征；將所述全局深度圖像輸入全局深度網絡模型，得到全局深度分類特征；將所述局部深度圖像輸入局部深度網絡模型，得到局部深度分類特征；

其中，所述全局紅外網絡模型、所述局部紅外網絡模型、所述全局深度網絡模型和所述局部深度網絡模型，是基于訓練樣本中的紅外訓練圖像和深度訓練圖像對應的全局多模態特征和局部多模態特征，對全局紅外分類模型、局部紅外分類模型、全局深度分類模型和局部深度分類模型進行聯合訓練得到的；所述全局紅外分類模型和所述局部紅外分類模是基于所述紅外訓練圖像得到的，所述全局深度分類模型和所述局部深度分類模型是基于所述深度訓練圖像得到的；基于所述紅外訓練圖像得到全局紅外分類模型，包括：

基于所述紅外訓練圖像以及損失函數

對初始模型進行訓練，得到全局紅外分類模型，其中，，s1表示全局紅外分類模型對應的得分，s2表示局部紅外分類模型對應的得分，s3表示全局深度分類模型對應的得分，s4表示局部深度分類模型對應的得分，表示損失函數的平衡調節因子；

對所述全局紅外分類特征以及全局深度分類特征進行特征拼接，得到全局多模態特征，對所述局部紅外分類特征以及局部深度分類特征進行特征拼接，得到局部多模態特征；

將所述全局紅外分類特征、所述局部紅外分類特征、所述全局深度分類特征、所述局部深度分類特征、所述全局多模態特征、所述局部多模態特征分別輸入對應的分類器，得到所述全局紅外分類特征、所述局部紅外分類特征、所述全局深度分類特征、所述局部深度分類特征、所述全局多模態特征、所述局部多模態特征，分別對應的分類結果；

若所述分類結果滿足預設條件，則確定所述人臉檢測圖像中的所述人臉為活體人臉。

2.如權利要求1所述的方法，其特征在于，所述局部紅外圖像包括左眼所在區域的圖像、右眼所在區域的圖像、鼻子所在區域的圖像以及，嘴巴所在區域的圖像；所述局部紅外網絡模型包括第一紅外模型、第二紅外模型、第三紅外模型以及第四紅外模型；將所述局部紅外圖像輸入局部紅外網絡模型，得到局部紅外分類特征，包括：

將所述左眼所在區域的圖像輸入第一紅外模型，得到第一紅外特征，將所述右眼所在區域的圖像輸入第二紅外模型，得到第二紅外特征，將所述鼻子所在區域的圖像輸入第三紅外模型，得到第三紅外特征，將所述嘴巴所在區域的圖像輸入第四紅外模型，得到第四紅外特征；

將所述第一紅外特征、所述第二紅外特征、所述第三紅外特征以及所述第四紅外特征相加，得到局部紅外分類特征。

3.如權利要求2所述的方法，其特征在于，所述局部紅外分類模型包括第一局部紅外模型、第二局部紅外模型、第三局部紅外模型以及第四局部紅外模型，基于所述紅外訓練圖像得到局部紅外分類模型，包括：

確定每個所述紅外訓練圖像中的左眼所在區域的圖像、右眼所在區域的圖像、鼻子所在區域的圖像以及，嘴巴所在區域的圖像；

根據每個所述紅外訓練圖像中的左眼所在區域的圖像、右眼所在區域的圖像、鼻子所在區域的圖像、嘴巴所在區域的圖像，以及預設面積計算規則，分別確定所述紅外訓練圖像中的第一區域圖像、第二區域圖像、第三區域圖像以及第四區域圖像，所述紅外訓練圖像中的左眼所在區域的圖像位于所述第一區域圖像內，右眼所在區域的圖像位于所述第二區域圖像內，鼻子所在區域的圖像位于所述第三區域圖像內，嘴巴所在區域的圖像位于所述第四區域圖像內；

采用每個所述紅外訓練圖像中的左眼所在區域的圖像以及第一區域圖像訓練第一分類模型，得到第一局部紅外模型，采用每個所述紅外訓練圖像中的右眼所在區域的圖像以及第二區域圖像訓練所述第一分類模型，得到第二局部紅外模型，采用每個所述紅外訓練圖像中的鼻子所在區域的圖像以及第三區域圖像訓練所述第一分類模型，得到第三局部紅外模型，采用每個所述紅外訓練圖像中的嘴巴所在區域的圖像以及第四區域圖像訓練所述第一分類模型，得到第四局部紅外模型。