[發明專利]基于人臉識別的廣告屏客流量統計系統及方法

在審

• 申請號: 202010125487.1
• 申請日: 2020-02-27
• 公開（公告）號: CN111275012A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 馮希寧
• 申請（專利權）人: 星宏集群有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06Q30/02;G06N3/04
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 趙陽

1.一種基于人臉識別的廣告屏客流量統計系統，其特征在于，包括：屏幕本體，所述屏幕本體表面設有顯示屏和攝像組件，屏幕本體內設有控制芯片、內存、電源芯片、圖形處理器、網絡芯片和人臉識別單元；所述控制芯片分別與內存、電源芯片、圖形處理器、網絡芯片、人臉識別單元、顯示屏和攝像組件數據連接；

所述人臉識別單元包括：

人臉檢測模塊，用于檢測攝像組件拍攝的圖片中的人臉并標記出位置信息；

人臉跟蹤模塊，用于跟蹤人臉位置；

人臉關鍵點提取模塊，用于提取并展示人臉的核心關鍵點信息；

人臉對齊模塊，將提取的核心關鍵點與預設模板對齊，用于特征點的提取；

人臉特征點提取模塊，為每一張人臉圖片提供一個128維的特征向量，用于比對兩張圖片中人臉的相似度，并返回相似度分值。

2.根據權利要求1所述的基于人臉識別的廣告屏客流量統計系統，其特征在于，所述人臉檢測模塊、人臉關鍵點提取模塊、人臉特征點提取模塊均采用深度學習模型中的卷積神經網絡。

3.根據權利要求1所述的基于人臉識別的廣告屏客流量統計系統，其特征在于，所述控制芯片采用型號為RK3288的CPU，所述電源芯片采用ACT8846電源IC。

4.根據權利要求1所述的基于人臉識別的廣告屏客流量統計系統，其特征在于，所述圖形處理器采用Mali-T760 MP4圖形處理器，所述網絡芯片采用RTL8211E千兆以太網卡。

5.一種基于人臉識別的廣告屏客流量統計方法，其特征在于，包括如下步驟：

S1：通過屏幕本體上的攝像組件捕獲圖像數據，并生成人臉圖片；

S2：調用人臉軟件開發工具包的multiTracker接口對所述人臉圖片進行人臉識別；

S3：對所述人臉圖片進行人臉跟蹤，并移除人臉圖片中未跟蹤成功的人臉；

S4：對跟蹤成功的人臉進行人臉檢測；

S5：將檢測到的新的人臉添加到跟蹤隊列，并提取人臉特征；

S6：對所述提取的人臉特征在預設的人臉緩存中進行線性查找特征計算距離最近的人臉特征；

S7：根據預設的特征相似度閾值判斷所述提取的人臉特征是否為新的人臉，若是，添加相應的人臉數據到人臉庫緩存并持久化到人臉庫中；若非，封裝人臉數據結構；

S8：更新人臉數據列表。

6.根據權利要求5所述的基于人臉識別的廣告屏客流量統計方法，其特征在于，所述步驟S3包括如下步驟：

S31：對所述人臉圖片進行跟蹤初始化，將人臉圖片按比例進行縮放，并設置定時檢測間隔變量；

S32：執行人臉檢測過程，具體為采用多任務人臉檢測網絡對所述人臉圖片依次檢測人臉，生成候選人臉向量；

S33：將候選人臉向量全部加入到跟蹤人臉向量中，清空候選人臉向量，對跟蹤人臉向量執行基于人臉檢測區域特征點的光流跟蹤算法進行人臉框區域的初步預判；

S34：將所述人臉圖片和初步預判的人臉框區域進行定位，判斷所述人臉框區域是否為人臉框，若否，人臉跟蹤失敗，從跟蹤人臉向量中清除對應的人臉向量；若是，人臉跟蹤成功，并轉到下一步。

7.根據權利要求6所述的基于人臉識別的廣告屏客流量統計方法，其特征在于，所述步驟S4具體為：

如果人臉跟蹤時間大于所述定時檢測間隔變量，將所述人臉圖片按比例縮放，將跟蹤人臉向量中的人臉全部設置蒙版，并執行人臉檢測。

8.根據權利要求5所述的基于人臉識別的廣告屏客流量統計方法，其特征在于，所述人臉檢測包括：

采用多任務人臉檢測網絡中的P-Net、R-Net、O-Net、L-Net網絡依次檢測人臉，由所述人臉圖片經過P-Net網絡生成預測的邊界框；然后輸入原始圖像和P-Net網絡生成的邊界框，通過R-Net后得到校正后的邊界框；然后再將所述人臉圖片和R-Net得到的邊界框通過O-Net網絡得到校正后的邊界框和人臉關鍵點，最后將O-Net網絡得到的邊界框送入L-Net網絡得到精準的人臉框區域，將檢測出的人臉框區域及人臉關鍵點全部加入到候選人臉向量中。