[發明專利]將指尖運動模式實時地設備上分類為手勢

在審

• 申請號: 202010075751.5
• 申請日: 2020-01-22
• 公開（公告）號: CN111488791A
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 拉米雅·蘇戈納納·穆爾蒂·赫巴拉古佩;瓦倫·亞伊;戈拉夫·加爾葛
• 申請（專利權）人: 塔塔顧問服務有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F3/01
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 王紅艷

1.一種用于將指尖運動模式實時地設備上分類為手勢的處理器實現的方法，所述方法包括：

在經由移動通信設備的一個或多個硬件處理器執行的級聯深度學習模型(CDLM)中，實時接收來自圖像獲取設備的多個紅、綠和藍(RGB)輸入圖像(302)，其中，所述多個RGB輸入圖像中的每個RGB輸入圖像包括手勢；

使用包括在經由所述移動通信設備上的所述一個或多個硬件處理器執行的所述級聯深度學習模型(CDLM)中的對象檢測器，實時檢測來自所接收的多個RGB輸入圖像的多個手候選邊界框(304)，其中，所述多個手候選邊界框中的每個手候選邊界框特定于來自所接收的多個RGB輸入圖像的相應RGB圖像，其中，所述多個手候選邊界框中的每個手候選邊界框包括手候選；

實時縮小來自所述多個手候選邊界框中的每個手候選邊界框的所述手候選，以獲得縮小的手候選集合(306)；

使用包括在經由所述移動通信設備上的所述一個或多個硬件處理器執行的所述級聯深度學習模型(CDLM)中的指尖回歸器，實時檢測來自所述縮小的手候選集合的每個縮小的手候選的指尖的空間位置(308)，其中，來自所述縮小的手候選集合的所述指尖的所述空間位置表示指尖運動模式；以及

使用來自所述指尖的所述空間位置的第一坐標和第二坐標，經由包括在經由所述移動通信設備上的所述一個或多個硬件處理器執行的所述級聯深度學習模型(CDLM)中的雙向長期短期記憶(Bi-LSTM)網絡，將所述指尖運動模式實時分類為一個或多個手勢(310)。

2.根據權利要求1所述的處理器實現的方法，其中，包括所述手候選的所述手候選邊界框中的每個手候選邊界框描述要用于分類為所述一個或多個手勢的指向手勢姿態。

3.根據權利要求1所述的處理器實現的方法，其中，將所述指尖運動模式分類為一個或多個手勢的步驟包括將回歸技術應用于所述指尖的所述第一坐標和所述第二坐標。

4.根據權利要求1所述的處理器實現的方法，其中，基于在所述多個RGB輸入圖像中的一組連續幀上存在正指向手指手檢測來檢測所述指尖的所述空間位置，并且其中，所述正指向手指手檢測的存在指示所述手勢的開始。

5.根據權利要求1所述的處理器實現的方法，其中，在所述多個RGB輸入圖像中的一組連續幀上不存在正指向手指手檢測指示所述手勢的結束。

6.一種用于將指尖運動模式實時分類為手勢的系統(100)，所述系統包括：

存儲器(102)，所述存儲器(102)存儲指令；

一個或多個通信接口(106)；以及

一個或多個硬件處理器(104)，所述一個或多個硬件處理器(104)經由所述一個或多個通信接口(106)耦接到所述存儲器(102)，其中，所述一個或多個硬件處理器(104)由所述指令配置為：

在經由所述系統的所述一個或多個硬件處理器執行的級聯深度學習模型(CDLM)中，實時接收來自圖像獲取設備的多個紅、綠和藍(RGB)輸入圖像，其中，所述多個RGB輸入圖像中的每個RGB輸入圖像包括手勢；

使用包括在經由所述系統上的所述一個或多個硬件處理器執行的所述級聯深度學習模型(CDLM)中的對象檢測器，實時檢測來自所接收的多個RGB輸入圖像的多個手候選邊界框，

其中，所述多個手候選邊界框中的每個手候選邊界框特定于來自所接收的多個RGB輸入圖像的相應RGB圖像，其中，所述多個手候選邊界框中的每個手候選邊界框包括手候選；

實時縮小來自所述多個手候選邊界框中的每個手候選邊界框的所述手候選，以獲得縮小的手候選集合；

使用包括在經由所述系統上的所述一個或多個硬件處理器執行的所述級聯深度學習模型(CDLM)中的指尖回歸器，實時檢測來自所述縮小的手候選集合中的每個縮小的手候選的指尖的空間位置，其中，來自所述縮小的手候選集合的所述指尖的所述空間位置表示指尖運動模式；以及

使用來自所述指尖的所述空間位置的第一坐標和第二坐標，經由包括在通過所述系統上的所述一個或多個硬件處理器執行的所述級聯深度學習模型(CDLM)中的雙向長期短期記憶(Bi-LSTM)網絡，將所述指尖運動模式實時分類為一個或多個手勢。