[發明專利]將指尖運動模式實時地設備上分類為手勢

在審

• 申請號: 202010075751.5
• 申請日: 2020-01-22
• 公開（公告）號: CN111488791A
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 拉米雅·蘇戈納納·穆爾蒂·赫巴拉古佩;瓦倫·亞伊;戈拉夫·加爾葛
• 申請（專利權）人: 塔塔顧問服務有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F3/01
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 王紅艷

本申請涉及將指尖運動模式實時地設備上分類為手勢。手勢在增強現實/混合現實應用中形成直觀的交互手段。然而，可以通過深度學習模型或使用昂貴的傳感器來實現精確的手勢識別。雖然這些深度學習模型具有魯棒性，但是它們通常從計算上講是昂貴的，并且獲得實時性能仍然是一個挑戰。本公開實施例提供了用于將指尖運動模式分類為不同手勢的系統和方法。將紅綠藍圖像作為輸入饋送到對象檢測器(MobileNetV2)以輸出手候選邊界框，然后縮小該手候選以減少處理時間而不損害圖像特征的質量。然后，將檢測到的手候選饋送到指尖回歸器，該指尖回歸器輸出表示運動模式的指尖的空間位置，其中將指尖的坐標饋送到用于將運動模式分類為不同手勢的雙向長期短期記憶網絡。

相關申請和優先權的交叉引用

本專利申請要求2019年1月25日提交的印度專利申請201921003256的優先權，其全部內容通過引用并入本文。

技術領域

本文中的內容總體上涉及分類技術，并且更具體地，涉及將指尖運動模式實時地設備上分類為手勢。

背景技術

在過去的幾十年中，信息技術已經從臺式機過渡到移動計算。智能手機、平板電腦、智能手表和頭戴式設備(HMD)正在(或已經)緩慢地替代基于臺式機的計算。就從辦公室和家庭辦公室環境到隨時隨地活動的計算而言，已經有了明顯的變化。移動電話構成了生活的很大一部分：互聯網上由它們產生的通信量的百分比正在超過其臺式機對應物。自然地，隨著這種過渡，人與這些設備交互的方式也從鍵盤/鼠標演變為手勢、語音和腦機接口。在嘈雜的戶外環境中，語音接口往往不夠精確，并且因此大多數HCI研究者都對手勢接口和語音的組合感興趣。實時饋送或視頻上的手勢識別是活動識別的形式。手勢在混合現實(MR)應用中形成直觀的交互手段。然而，只有通過深度學習模型或使用昂貴的傳感器才能實現精確的手勢識別。盡管這些深度學習模型具有魯棒性，但是它們通常在計算上是昂貴的，并且獲得實時性能仍然是一個挑戰。

發明內容

本公開的實施例提出了技術改進，作為發明人認識到的常規系統中的一個或多個上述技術問題的解決方案。例如，一方面，一種用于將指尖運動模式實時地設備上分類為手勢的處理器實現的方法。在經由移動通信設備的一個或多個硬件處理器執行的級聯深度學習模型(CDLM)中，實時接收來自圖像獲取設備的多個紅、綠和藍(RGB)輸入圖像，其中，多個RGB輸入圖像中的每個RGB輸入圖像包括手勢；使用包括在經由移動通信設備上的一個或多個硬件處理器執行的級聯深度學習模型(CDLM)中的對象檢測器，實時檢測來自所接收的多個RGB輸入圖像的多個手候選邊界框，其中，多個手候選邊界框中的每個手候選邊界框特定于來自所接收的多個RGB輸入圖像中的相應RGB圖像，其中，多個手候選邊界框中的每個手候選邊界框包括手候選；實時縮小來自多個手候選邊界框中的每個手候選邊界框的手候選，以獲得縮小的手候選集合；使用包括在經由移動通信設備上的一個或多個硬件處理器執行的級聯深度學習模型(CDLM)中的指尖回歸器，實時檢測來自縮小的手候選集合中的每個縮小的手候選的指尖的空間位置，其中，來自縮小的手候選集合的指尖的空間位置表示指尖運動模式；以及使用來自指尖的空間位置的第一坐標和第二坐標，經由包括在經由移動通信設備上的一個或多個硬件處理器執行的級聯深度學習模型(CDLM)中的雙向長期短期記憶(Bi-LSTM)網絡，將指尖運動模式實時分類為一個或多個手勢。

在一個實施例中，包括手候選的手候選邊界框中的每個手候選邊界框描述了用于分類為一個或多個手勢的指向手勢姿態。

在一個實施例中，將指尖運動模式分類為一個或多個手勢的步驟包括將回歸技術應用于指尖的第一坐標和第二坐標。

在一個實施例中，基于在多個RGB輸入圖像中的一組連續幀上存在正指向手指手檢測來檢測指尖的空間位置，并且其中，正指向手指手檢測的存在指示手勢的開始。

在一個實施例中，在多個RGB輸入圖像中的一組連續幀上不存在正指向手指手檢測指示手勢的結束。