[發明專利]揮手檢測方法及裝置

在審

• 申請號: 202211735182.8
• 申請日: 2022-12-30
• 公開（公告）號: CN116189290A
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 薛若晨;朱媛媛;丁美玉;劉文庭;董鵬宇
• 申請（專利權）人: 上海富瀚微電子股份有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/82;G06V10/75;G06V20/40;G06N3/0464;G06N3/045;G06N3/082
• 代理公司: 上海思捷知識產權代理有限公司 31295
• 代理人: 王宏婧

本發明提供了一種揮手檢測方法及裝置，對包含連續多幀待測圖像的實時視頻序列進行逐幀處理，用人形檢測框將所述待測圖像中的若干個人像分別框選出來；將前后幀待測圖像中的人形檢測框進行匹配，使前后幀待測圖像中用于表示相同人像的人形檢測框相互對應；獲取所述人形檢測框中的多個人體關鍵點，所述人體關鍵點用于表征人像的姿態；以及，在連續的設定幀數內的所述待測圖像中，根據所選取的人形檢測框中人體關鍵點的位置變化情況判斷相應的人像是否存在揮手運動。本發明通過將同一人像在連續多幀待測圖像中對應的多個人形檢測框對應起來，實現了實時視頻序列中持續性地多人揮手檢測，提高了檢測靈敏度，同時降低了誤檢率。

技術領域

本發明涉及揮手檢測技術領域，尤其涉及一種揮手檢測方法及裝置。

背景技術

揮手是人們日常生活中廣泛使用的一種交流方式，具有很強的表意功能。隨著計算機技術的發展，揮手檢測以其操作自然、便捷、非接觸等特點逐步被應用于家電控制、互動展示、游戲控制、家用及商用攝像機的撥號、報警以及無人機搜救等場景。

圖1為一種揮手檢測方法的流程圖。參閱圖1，視頻流序列在視頻處理器中被處理為一系列按時間順序排列的單幀圖片，每幀圖片按時間順序依次送入行人檢測裝置進行行人檢測。行人檢測裝置通過選擇方向梯度直方圖特征提取方法對正負樣本進行特征提取，而后使用SVM分類器進行訓練。送入行人檢測裝置的圖片被統一歸一化為相同的圖像大小(例如大小為108×36像素)進行檢測，檢測完成的圖片按照檢測框置信度進行排序，得分大于0.7的檢測框作為行人檢測框(若圖中有多個候選的行人檢測框，則取置信度最高的行人檢測框作為初次揮手檢測的對象)。確定完行人檢測框后，在所述行人檢測窗的左上方設置一個揮手檢測窗口(大小為36×36像素)，且所述揮手檢測窗和所述行人檢測窗的左頂點分別在x、y軸上相差12個像素。將圖片中位于所述揮手檢測窗外的區域內的所有像素值均置為0。從第n幀圖像開始(n≥2)，采用3幀差分進行第n幀圖像的運動檢測，計算公式如下。

D_n(x,y)＝P_n-1(x,y)-2P_n(x,y)+P_n+1(x,y)；?(1)

其中，D_n(x,y)表示第n幀圖像對應的差分信息，P_n-1(x,y)、P_n(x,y)和P_n+1(x,y)分別表示第n幀圖像、第n-1幀圖像和第n+1幀圖像的圖像信息。

隨后，使用大律法將D_n(x,y)二值化，獲取所述圖像的二值運動信息A_n(x,y)；接著，定義運動歷史圖像H_n(x,y)，并利用sobel算子計算所述圖像的角度矩陣(即所述圖像中像素點的梯度方向)；對所述角度矩陣進行遍歷，統計梯度直方圖，并將所述梯度直方圖中最大值所對應的角度作為所述圖像的運動主方向。若所述運動主方向在第一閾值(例如為46度至134度)之間，則判斷為右揮手，若所述運動主方向在第二閾值(例如為226度至314度)之間，則判斷為左揮手。當前N幅圖像中判斷為左揮手或右揮手的數量達到N/2個時，則判定存在揮手運動，否則，判定為沒有揮手運動。若置信度最高的行人檢測框未判斷出揮手，則取置信度第二高的行人檢測框再次進行上述流程的揮手判斷，如此循環，直至判斷出揮手或者遍歷所有的行人檢測框。

然而，上述揮手判斷方法是基于歷史圖像序列進行的，無法對實時視頻進行揮手檢測。且現有的揮手檢測方法僅僅是單純的進行揮手判斷，揮手檢測的靈敏度較低且存在誤檢的風險。微軟Kinect體感游戲的揮手檢測方法中，采用3D模型作為關鍵點模型，使預測的關鍵點更為精準和穩定，存在跳動的情況較少，從而提高了揮手檢測的靈敏度。然而3D模型的參數量較大，不適用于硬件端的模型部署。

鑒于此，需要一種方法在實時視頻序列中持續性地進行多人揮手檢測，并在提高檢測靈敏度的同時降低誤檢率。

發明內容