[發明專利]一種手部追蹤方法及裝置

有效

• 申請號: 201910359991.5
• 申請日: 2019-04-30
• 公開（公告）號: CN110334576B
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 孫晨;陳文科;高源;姚聰
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京鉦霖知識產權代理有限公司 11722
• 代理人: 李志新;李靜波

本發明的方面涉及本發明涉及手勢識別技術領域，特別是涉及一種手部追蹤方法及裝置。手部追蹤方法包括：獲取視頻幀步驟，獲取連續的視頻幀；判斷步驟，根據前一視頻幀中是否有手部圖像的標注，判斷前一視頻幀中是否檢測到手部圖像；單尺度局部檢測步驟，根據前一視頻幀中有手部圖像，對當前視頻幀的局部范圍進行手部檢測，并標注手部圖像在當前視頻幀中的位置；多尺度全局檢測步驟，根據前一視頻幀中不具有手部圖像，對當前視頻幀全圖范圍進行手部檢測，并標注手部圖像在當前視頻幀中的位置。通過使用兩種檢測方式檢測視頻中的手部位置并進行標注，用于追蹤手部圖像連續的運動軌跡，有助于提高手部追蹤效率，降低手部檢測難度和實時運行的難度。

技術領域

本發明一般地涉及手勢識別技術領域，特別是涉及一種手部追蹤方法及裝置。

背景技術

手勢識別是不借助觸摸屏等機械設備的無觸人機交互的支柱技術，人們可以使用簡單的手勢來控制或與設備交互，讓計算機理解人類的行為，是人機交互方式中的重要研究方向之一。

然而手部位置的不斷確定即手部追蹤正是手勢識別中最困難也是最耗時的環節。區別于通用物體檢測和追蹤，手勢識別中手部追蹤的難度主要體現在三個方面：第一方面，手部的形變度高，檢測難度大；第二方面，手部在攝像頭視野中的移動速度快，追蹤難度大；第三方面，計算資源受限，數據運行難度大。

發明內容

為了解決現有技術中存在的上述問題，本發明提供一種手部追蹤方法及裝置。

第一方面，本發明實施例提供一種手部追蹤方法，其中，包括：獲取視頻幀步驟，獲取連續的視頻幀，包括前一視頻幀和當前視頻幀；判斷步驟，根據前一視頻幀中是否有手部圖像的標注，判斷前一視頻幀中是否檢測到手部圖像；單尺度局部檢測步驟，當判斷前一視頻幀中具有手部圖像，則通過單尺度局部檢測對當前視頻幀的局部范圍進行手部檢測，并在當前視頻幀中標注檢測到的一個或多個手部圖像在當前視頻幀中的位置；多尺度全局檢測步驟，當判斷前一視頻幀中不具有手部圖像，則通過多尺度全局檢測對當前視頻幀全圖范圍進行手部檢測，并在當前視頻幀中標注檢測到的一個或多個手部圖像在當前視頻幀中的位置。

在一實施例中，手部追蹤方法還包括：選擇主體手部圖像步驟，基于單尺度局部檢測步驟或多尺度全局檢測步驟檢測到的一個或多個手部圖像，選擇其中一個手部圖像作為主體手部圖像，并刪除其余手部圖像的標注。

在另一實施例中，選擇主體手部圖像步驟還包括：根據多個手部圖像在當前視頻幀中的面積大小，選擇面積最大的手部圖像作為主體手部圖像。

在又一實施例中，選擇主體手部圖像步驟還包括：選擇視頻幀中與預設手勢匹配相同的手部圖像作為主體手部圖像。

在一實施例中，手部追蹤方法還包括：手部識別步驟，基于當前視頻幀中的一個或多個手部圖像，判斷手部圖像是否為真實的手，如判斷為不是真實的手，則刪除手部圖像的標注。

在一實施例中，手部識別步驟還包括：根據手部圖像的位置，對當前視頻幀進行截取，得到截取圖像，對截取圖像縮放至一固定的識別尺寸范圍內進行判斷。

在一實施例中，單尺度局部檢測步驟還包括：基于前一視頻幀中手部圖像的位置，對當前視頻幀進行擴大截取，獲取局部范圍的局部圖像，在局部圖像中進行手部檢測。

在另一實施例中，單尺度局部檢測步驟還包括：對局部圖像進行縮放至一固定的檢測尺寸范圍內進行手部檢測。