[發明專利]一種基于深度學習檢測的人臉手勢配合驗證方法

有效

• 申請號: 201810035341.0
• 申請日: 2018-01-15
• 公開（公告）號: CN108460329B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 任俊芬
• 申請（專利權）人: 任俊芬
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06V40/20;G06F21/32;G06N3/04
• 代理公司: 北京科名專利代理有限公司 11468
• 代理人: 陳朝陽

1.一種基于深度學習檢測的人臉手勢配合驗證方法，其特征在于，包括如下步驟：步驟一)人工收集和標注各種場景下人的頭肩數據、人臉數據和設置的手勢數據，利用深度學習框架分別建立用于頭肩檢測、人臉檢測和手勢檢測的三個深度殘差卷積神經網絡，并且對網絡進行訓練；步驟二)將由攝像頭采集的圖像經壓縮處理后實時送入頭肩檢測神經網絡，檢測攝像頭是否捕捉到了一個或多個人的頭肩；若檢測到人的頭肩則在每一個檢測到頭肩的區域劃出頭肩檢測框，再根據頭肩檢測框劃出人臉候選框，并將原圖中人臉候選框對應的圖像經適當壓縮后送入人臉檢測神經網絡進行人臉檢測；步驟三)若人臉檢測神經網絡檢測到人臉，則根據其對應的頭肩劃出手勢候選框，并將原圖中手勢候選框對應的圖像經過適當壓縮送入手勢檢測網絡進行手勢檢測；步驟四)手勢檢測神經網絡每隔300毫秒確認一次手勢候選框內可檢測到手勢，若連續兩次均確認成功則驗證通過驗證；

所述步驟一)中，所述頭肩檢測神經網絡采用深度殘差卷積神經網絡，由16層主干網絡和四個輸出支路組成：主干網絡包含16個卷積層，卷積核大小均為3×3，分別在第1層、第2層和第11層卷積層步長為2，其余卷積層步長為1，按照殘差結構的要求，每兩個步長為1的卷積層添加一個跳連結構，每層卷積后使用線性修正單元ReLU函數進行激活；四個輸出支路各含有3個卷積層，分別接在主干網絡第10層、第13層、第15層、第16層，卷積核大小均為1×1，步長為1； 除最后一層外，每層卷積后使用線性修正單元ReLU函數進行激活；

所述人臉檢測神經網絡和手勢檢測神經網絡采用相同的網絡結構，包括13層卷積神經網絡，除最后一層外，每層卷積后使用線性修正單元ReLU函數進行激活；前10層卷積核大小均為3×3，最后3層卷積核大小為1x1；網絡第1層和第2層卷積層步長為2，其余卷積層步長為1；每兩個步長為1，含3x3卷積核的卷積層添加一個跳連結構。

2.如權利要求1所述的一種基于深度學習檢測的人臉手勢配合驗證方法，其特征在于，所述步驟二)中，為了保證網絡運行的速度，先將攝像頭輸入的圖像壓縮至一個固定的尺寸，若場景中有人則頭肩檢測神經網絡會輸出若干人的頭肩檢測框信息，則根據壓縮比例，得到實際圖片中人頭檢測框的信息。

3.如權利要求1所述的一種基于深度學習檢測的人臉手勢配合驗證方法，其特征在于，所述步驟二)中，劃出人臉候選框的選取方法為：設某頭肩檢測框信息包括其左下角坐標x、y和高、寬數據h、w，其對應的人臉檢測框信息包括其左下角坐標x’和y’高、寬數據h’、w’；則有x’＝xy’＝yh’＝1.15*hw’＝w。

4.如權利要求1所述的一種基于深度學習檢測的人臉手勢配合驗證方法，其特征在于，輸入人臉檢測神經網絡的圖像，長邊被壓縮至48像素，寬邊等比例壓縮。

5.如權利要求1所述的一種基于深度學習檢測的人臉手勢配合驗證方法，其特征在于，所述步驟三)中，劃出手勢候選框的方法為：設某頭肩檢測框信息包括其左下角坐標x、y和高、寬數據h、w，其對應的手勢檢測框信息包括其左下角坐標x’和y’，高、寬數據h’、w’；則有：x’＝xy’＝y-1.1*hh’＝1.2*hw’＝1.2*w。

6.如權利要求1所述的一種基于深度學習檢測的人臉手勢配合驗證方法，其特征在于，輸入手勢檢測神經網絡的圖像，長邊被壓縮至64像素，寬邊等比例壓縮。

7.如權利要求1所述的一種基于深度學習檢測的人臉手勢配合驗證方法，其特征在于，所述步驟四)中進行再次的手勢檢測時，手勢候選框信息直接使用上次手勢檢測的手勢候選框。