[發明專利]一種基于深度學習檢測的人臉手勢配合驗證方法

有效

• 申請號: 201810035341.0
• 申請日: 2018-01-15
• 公開（公告）號: CN108460329B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 任俊芬
• 申請（專利權）人: 任俊芬
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06V40/20;G06F21/32;G06N3/04
• 代理公司: 北京科名專利代理有限公司 11468
• 代理人: 陳朝陽

一種基于深度學習檢測的人臉手勢配合驗證方法，其主要目的在于使用適用于低功耗設備的算法完成人臉和手勢的檢測，以達到人臉—手勢配合驗證的效果。是一種利用深度殘差卷積神經網絡在大幅縮小后的圖像中進行頭肩整體檢測，再根據頭肩出現的范圍檢測人臉，最后根據頭肩的位置檢測手勢，并根據檢出的人臉和手勢驗證觸發條件的方法。相比于傳統的基于手勢的驗證系統，本發明擁有更好的穩定性，大大降低了用戶誤觸發和系統的失靈，擁有很好的穩定性?？蓮V泛應用于手機、家電驗證開關機的方法。

技術領域

本發明涉及人工神經網絡、計算機視覺等技術領域，具體涉及一種基于深度學習檢測的人臉手勢配合驗證方法。

背景技術

靜態手勢識別在可視交流、人機交互、增強現實等領域有重要應用。然而，在實際應用中由于光照、個體變化等因素影響，單純手勢識別很難滿足具體的應用需求。近年來，在電視機、空調、空氣凈化器等家電行業，依靠遙控器的傳統方式顯得越來越笨拙，而依靠人臉加手勢驗證的控制方式越來越受到高端家電業、智能手機行業的重視。這里涉及的人臉加手勢驗證方法考慮在靜態圖像中同時發現人臉和特定手勢，及其特定的空間位置關系，以此來判定觸發條件是否達成。其中涉及的關鍵技術包括人臉檢測和手勢檢測。傳統的機器學習算法如Viola和Jones提出的基于AdaBoost檢測框架，其使用滑動窗口加人工特征的方式完成檢測功能，但在實際的復雜場景中往往導致大量的漏檢和誤檢。在實施中需要大量的額外人力來處理，嚴重影響用戶體驗。

目前流行的深度學習檢測算法大多依賴GPU加速。當前主流的目標檢測算法如SSD、R-FCN、mask R-CNN等使用流行的深度網絡結構如VGG-16、Resnet101等，使用普通筆記本CPU運行一次所要的時間不能滿足實時地要求，而在低功耗無GPU的設備上更是會導致內存溢出問題，遠遠無法滿足家電、手機行業低功耗設備的要求。進一步，這些設備的低功耗芯片在實際使用中往往同時運行其他程序，并對發熱有嚴格的要求，因而現在常見的深度學習算法很難在這些設備上實施、落地。

發明內容

為了解決上述問題，本發明提供了一種基于深度學習檢測的人臉手勢配合驗證方法。

本發明是通過如下技術方案實現的：

一種基于深度學習檢測的人臉手勢配合驗證方法，包括如下步驟：

步驟一)人工收集和標注各種場景下人的頭肩數據、人臉數據和設置的手勢數據，利用深度學習框架分別建立用于頭肩檢測、人臉檢測和手勢檢測的三個深度殘差卷積神經網絡，并且對網絡進行訓練；

步驟二)將由攝像頭采集的圖像經壓縮處理后實時送入頭肩檢測神經網絡，檢測攝像頭是否捕捉到了一個或多個人的頭肩，若檢測到人的頭肩則在每一個檢測到頭肩的區域劃出頭肩檢測框，再根據頭肩檢測框劃出人臉候選框，并將原圖中人臉候選框對應的圖像經適當壓縮后送入人臉檢測神經網絡進行人臉檢測；

步驟三)若人臉檢測神經網絡檢測到人臉，則根據其對應的頭肩劃出手勢候選框，并將原圖中手勢候選框對應的圖像經過適當壓縮送入手勢檢測網絡進行手勢檢測；

步驟四)手勢檢測神經網絡每隔300毫秒確認一次手勢候選框內可檢測到手勢，若連續兩次均確認成功則驗證通過驗證。

進一步的，所述步驟一)中，所述頭肩檢測神經網絡采用深度殘差卷積神經網絡，由16層主干網絡和四個輸出支路組成：

主干網絡包含16個卷積層，卷積核大小均為3×3，分別在第1層、第2層和第11層卷積層步長為2，其余卷積層步長為1，按照殘差結構的要求，每兩個步長為1的卷積層添加一個跳連結構，每層卷積后使用線性修正單元ReLU函數進行激活；

四個輸出支路各含有3個卷積層，分別接在主干網絡第10層、第13層、第15層、第16層，卷積核大小均為1×1，步長為1。除最后一層外，每層卷積后使用線性修正單元ReLU函數進行激活；