[發(fā)明專利]人臉活體檢測模型的訓(xùn)練、檢測方法、裝置及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202010340263.2
• 申請日: 2020-04-26
• 公開（公告）號: CN111597918A
• 公開（公告）日: 2020-08-28
• 發(fā)明（設(shè)計）人: 蘇馳;李凱;劉弘也;袁寶煜
• 申請（專利權(quán)）人: 北京金山云網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京博遵律師事務(wù)所 11761
• 代理人: 馬佑平

1.一種人臉活體檢測模型的訓(xùn)練方法，其特征在于，所述方法包括：

獲取人臉訓(xùn)練樣本集，其中，所述訓(xùn)練樣本集包括多個人臉訓(xùn)練樣本，所述每個人臉訓(xùn)練樣本包括同一人臉樣本的至少兩種模態(tài)的人臉圖像，以及標(biāo)記所述訓(xùn)練樣本為正樣本或負(fù)樣本的標(biāo)識；

將所述人臉訓(xùn)練樣本集中各人臉訓(xùn)練樣本的第一模態(tài)人臉圖像輸入與第一模態(tài)相對應(yīng)的第一模態(tài)特征提取子網(wǎng)絡(luò)，以獲得該人臉訓(xùn)練樣本的第一模態(tài)特征；

將所述人臉訓(xùn)練樣本集中各人臉訓(xùn)練樣本的第二模態(tài)人臉圖像輸入與第二模態(tài)相對應(yīng)的第二模態(tài)特征提取子網(wǎng)絡(luò)，以獲得該人臉訓(xùn)練樣本的第二模態(tài)特征；

將所述第一模態(tài)特征、所述第二模態(tài)特征與所述標(biāo)記所述訓(xùn)練樣本為正樣本或負(fù)樣本的標(biāo)識組合為該人臉訓(xùn)練樣本的多模態(tài)特征訓(xùn)練樣本；

將所述多個人臉訓(xùn)練樣本的多模態(tài)特征訓(xùn)練樣本組成的樣本集輸入至多模態(tài)特征處理子網(wǎng)絡(luò)；

根據(jù)所述輸入的訓(xùn)練樣本集，訓(xùn)練所述人臉活體檢測模型的模型參數(shù)，得到人臉活體檢測模型。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述每個人臉訓(xùn)練樣本還包括同一人臉樣本的第三模態(tài)的人臉圖像，所述方法還包括：

將所述人臉訓(xùn)練樣本集中各人臉訓(xùn)練樣本的第三模態(tài)人臉圖像輸入與第三模態(tài)相對應(yīng)的第三模態(tài)特征提取子網(wǎng)絡(luò)，以獲得該人臉訓(xùn)練樣本的第三模態(tài)特征；

將所述第一模態(tài)特征、所述第二模態(tài)特征、所述第三模態(tài)特征與所述標(biāo)記所述訓(xùn)練樣本為正樣本或負(fù)樣本的標(biāo)識組合為該人臉訓(xùn)練樣本的多模態(tài)特征訓(xùn)練樣本，以供輸入至所述多模態(tài)特征處理子網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述第一模態(tài)人臉圖像為RGB人臉圖像、所述第二模態(tài)人臉圖像為深度圖像、所述第三模態(tài)人臉圖像為紅外圖像。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述人臉活體檢測模型包括所述第一模態(tài)特征提取子網(wǎng)絡(luò)、所述第二模態(tài)特征提取子網(wǎng)絡(luò)、所述多模態(tài)特征處理子網(wǎng)絡(luò)和輸出層網(wǎng)絡(luò)；

所述根據(jù)所述輸入的訓(xùn)練樣本集，訓(xùn)練所述人臉活體檢測模型的模型參數(shù)，得到人臉活體檢測模型包括：

根據(jù)所述輸入的訓(xùn)練樣本集，對所述第一模態(tài)特征提取子網(wǎng)絡(luò)的參數(shù)、所述第二模態(tài)特征提取子網(wǎng)絡(luò)的參數(shù)、所述多模態(tài)特征處理子網(wǎng)絡(luò)的參數(shù)和所述輸出層網(wǎng)絡(luò)的參數(shù)進(jìn)行更新，直至所述參數(shù)收斂，得到收斂的人臉活體檢測模型。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述根據(jù)所述輸入的訓(xùn)練樣本集，對所述第一模態(tài)特征提取子網(wǎng)絡(luò)的參數(shù)、所述第二模態(tài)特征提取子網(wǎng)絡(luò)的參數(shù)、所述多模態(tài)特征處理子網(wǎng)絡(luò)的參數(shù)和所述輸出層網(wǎng)絡(luò)的參數(shù)進(jìn)行更新，直至所述參數(shù)收斂包括：

對所述訓(xùn)練樣本集中的每個樣本在所述輸出層網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行計算，得到每個樣本的概率分布向量；

將所述概率分布向量代入預(yù)設(shè)的分類損失函數(shù)進(jìn)行計算，得到所述訓(xùn)練樣本集中每個樣本的分類損失；

基于所述分類損失對所述第一模態(tài)特征提取子網(wǎng)絡(luò)的參數(shù)、所述第二模態(tài)特征提取子網(wǎng)絡(luò)的參數(shù)、所述多模態(tài)特征處理子網(wǎng)絡(luò)的參數(shù)和所述輸出層網(wǎng)絡(luò)的參數(shù)進(jìn)行更新，得到收斂的第一模態(tài)特征提取子網(wǎng)絡(luò)、收斂的第二模態(tài)特征提取子網(wǎng)絡(luò)、收斂的多模態(tài)特征處理子網(wǎng)絡(luò)和收斂的輸出層網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述對所述訓(xùn)練樣本集中的每個樣本在所述輸出層網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行計算，得到每個樣本的概率分布向量，包括：

從所述訓(xùn)練樣本集中選取一個樣本輸入所述第一模態(tài)特征提取子網(wǎng)絡(luò)、所述第二模態(tài)特征提取子網(wǎng)絡(luò)、所述多模態(tài)特征處理子網(wǎng)絡(luò)和所述輸出層網(wǎng)絡(luò)，得到對應(yīng)的輸出結(jié)果；

將所述輸出結(jié)果輸入歸一化指數(shù)函數(shù)，得到所述概率分布向量。