[發(fā)明專利]一種基于全局人臉識別的課堂考勤方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201810333715.7
• 申請日: 2018-04-13
• 公開（公告）號: CN108564673A
• 公開（公告）日: 2018-09-21
• 發(fā)明（設(shè)計）人: 何珺;孫波;余樂軍;戎博杰
• 申請（專利權(quán)）人: 北京師范大學(xué)
• 主分類號: G07C1/10
• 分類號: G07C1/10;G06K9/00;G06Q50/20
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王瑩;吳歡燕

1.一種基于全局人臉識別的課堂考勤方法，其特征在于，包括：

S1，從視頻流的每一幀圖像中提取出人臉圖像，得到所述視頻流中所有的人臉圖像，并對所有的人臉圖像進行人臉追蹤，得到多條人臉軌跡，其中，所述視頻流為拍攝課堂場景獲得；

S2，將所述多條人臉軌跡與選課名單中所有學(xué)生對應(yīng)的標(biāo)準(zhǔn)照進行全局人臉匹配，得到與每一條人臉軌跡匹配的一張標(biāo)準(zhǔn)照，根據(jù)每一張標(biāo)準(zhǔn)照對應(yīng)的學(xué)生，輸出課堂出勤名單。

2.根據(jù)權(quán)利要求1所述的課堂考勤方法，其特征在于，所述步驟S1具體包括：

S11，對視頻流的每一幀圖像進行人臉檢測，從每一幀圖像中提取出人臉圖像，得到整個視頻流的所有人臉圖像，并獲取每一張人臉圖像在對應(yīng)幀圖像中的位置信息、所在幀圖像的幀數(shù)信息和尺寸信息；

S12，根據(jù)每一張人臉圖像的位置信息、幀數(shù)信息和尺寸信息，確定每一張人臉圖像所屬的人臉軌跡。

3.根據(jù)權(quán)利要求2所述的課堂考勤方法，其特征在于，所述S12具體包括：

a，針對每一張人臉圖像，基于當(dāng)前人臉圖像的位置信息、幀數(shù)信息和尺寸信息與已經(jīng)存在的每一條人臉軌跡的最后一張人臉圖像的位置信息、幀數(shù)信息和尺寸信息，判斷當(dāng)前人臉圖像能否與已經(jīng)存在的每一條人臉軌跡的最后一張人臉圖像銜接，若能，執(zhí)行步驟b；若否，執(zhí)行步驟c；

b，將當(dāng)前人臉圖像鏈接到已經(jīng)存在的人臉軌跡中的其中一條人臉軌跡上，其中，所述當(dāng)前人臉圖像能夠與該人臉軌跡上的最后一張人臉圖像銜接；

c，基于當(dāng)前人臉圖像創(chuàng)建一條新的人臉軌跡，返回步驟a。

4.根據(jù)權(quán)利要求3所述的課堂考勤方法，其特征在于，所述步驟a具體包括：

a1，基于當(dāng)前人臉圖像的位置信息、幀數(shù)信息和尺寸信息與已經(jīng)存在的每一條人臉軌跡的最后一張人臉圖像的位置信息、幀數(shù)信息和尺寸信息，計算當(dāng)前人臉圖像鏈接到每一條已經(jīng)存在的人臉軌跡的代價值，得到當(dāng)前人臉圖像對應(yīng)的多個代價值；

a2，判斷所述多個代價值中最小的代價值是否低于預(yù)設(shè)閾值，若否，則執(zhí)行步驟c；若是，則將當(dāng)前人臉圖像鏈接到所述最小的代價值對應(yīng)的人臉軌跡上。

5.根據(jù)權(quán)利要求1所述的課堂考勤方法，其特征在于，所述步驟S2具體包括：

S21，提取每一條所述人臉軌跡的人臉特征；

S22，計算每一條人臉軌跡的人臉特征與選課名單中每一個學(xué)生的標(biāo)準(zhǔn)照的人臉特征之間的相似度，得到多條人臉軌跡與多個學(xué)生的標(biāo)準(zhǔn)照之間的相似度矩陣；

S23，根據(jù)所述相似度矩陣，設(shè)定全局人臉匹配的約束條件，根據(jù)所述約束條件求解得到多條人臉軌跡與多個學(xué)生的標(biāo)準(zhǔn)照之間的匹配結(jié)果；其中，所述約束條件確保每一條人臉軌跡只能匹配一個學(xué)生的標(biāo)準(zhǔn)照，以及一個學(xué)生的標(biāo)準(zhǔn)照不能被匹配給時間上存在交集的兩個人臉軌跡。

6.如權(quán)利要求5所述的課堂考勤方法，其特征在于，每一條人臉軌跡對應(yīng)有多張人臉圖像，所述步驟S21具體包括：

S211，對于任意一條人臉軌跡對應(yīng)的多張人臉圖像，基于深度卷積神經(jīng)網(wǎng)絡(luò)提取該張人臉圖像的人臉特征；以及基于深度卷積神經(jīng)網(wǎng)絡(luò)提取選課名單中每一名學(xué)生的標(biāo)準(zhǔn)照的人臉特征；

S212，計算所述人臉軌跡對應(yīng)的每一張人臉圖像的人臉特征與每一名學(xué)生的標(biāo)準(zhǔn)照人臉特征之間的相似度，將與所有學(xué)生標(biāo)準(zhǔn)照人臉特征相似度最大的人臉特征作為對應(yīng)人臉軌跡的人臉特征。

7.根據(jù)權(quán)利要求6所述的課堂考勤方法，其特征在于，所述基于深度卷積神經(jīng)網(wǎng)絡(luò)提取每一張人臉圖像或每一個學(xué)生的標(biāo)準(zhǔn)照的人臉特征具體包括：

將人臉圖像或者學(xué)生的標(biāo)準(zhǔn)照輸入訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)中，輸出人臉圖像或?qū)W生標(biāo)準(zhǔn)照的人臉特征，其中，所述人臉特征為多維特征向量。