[發明專利]一種基于體感交互設備的手勢識別控制器

在審

• 申請號: 201710752815.9
• 申請日: 2017-08-28
• 公開（公告）號: CN107688390A
• 公開（公告）日: 2018-02-13
• 發明（設計）人: 費騰;朱正;安方軍;劉子煜;鄭斯元;康雨豪;陳慧瑕;戴曉瑜
• 申請（專利權）人: 武漢大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0481
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙)42222
• 代理人: 魯力

技術領域

本發明涉及智能交互領域，特別是一種基于體感交互設備的手勢識別控制器。

背景技術

隨著物聯網、數字化技術的發展，機器的功能產生了多維度的拓展。因而機器的控制方式也不斷向更智能的方式演變。對機器的控制主要體現在人與機器的交互設計上。目前人機之間的交互設計主要分為接觸式和非接觸式兩大類。非接觸方式中又有近前操作和非近前操作。在對話時機上可分為預設和實時兩種類型。

現代人機間的交互設計更加注重信息交互。交互是一種對話，就有信息的雙向流動，一方面是人對機器的指令控制，另一方面機器接受指令做出反應并給人以反饋信息。接觸式的交互方式是最為普遍，如人用手、腳等對機器的操作和控制(包括線控)。非接觸式的交互，在各種電器電子產品中也不陌生，如通過紅外線、WIFI等信號傳輸方式將人的操控指令傳遞給機器，通過體感、語音、目光等也是一類非接觸式人機對話的方式。近前方式的交互過程包括紅外線遙控、體感、語音等方式，操控者需要在一定距離范圍內才能實現對電器設備的控制。非近前方式可以通過無線通訊，互聯網等方式，在人機距離較遠的情況下實現人機交互。預設方式可理解為出廠時完成的功能設定，實時則是根據個人需要可以進行實時的功能選擇。以上這些全是人機過程，機器在接受指令后通過聲、光指令運行等方式響應反饋給人，是機器對人的信息傳遞。

然而，現有的機器設備交互設計模式存在著一些亟待解決的弊端。一是開關控制器的泛濫。以家居為例，家電的多樣化附帶著遙控器等控制設備數量的增加，需要一個完善的系統取代繁多的獨立個體。二是說在需要對多個機器進行操作的空間里，現階段的開關羅列的集約控制面板復雜，不易操作。三是多功能的交互面板帶來選擇信息的層級嵌套。操作步驟與功能的數量正相關，導致功能完善的同時不能做到操作的簡單。四是為追求簡單而單一的操作方式而忽視了操作語義的直觀性，使得操作動作本身沒有意義，操作的目的難以得到直觀體現，直接影響了機器多維度操作的直觀性。

同時，現代的交互設計模式普遍還是基于二維平面的，提供的交互信息自然受到維度的限制，沒有充分利用人體的空間立體性，使得對多維度機器的不同維度的操作方式單一。這種單一性通過多個相同開關來控制不同緯度的方式體現。

發明內容

針對上述存在的不足，本發明提出比較完善的解決辦法，通過體感交互設備對人的手部進行探測，對手部用獨特的建模算法獲取特征信息，利用手部信息設計手勢識別程序，通過定義手勢獲得相應指令，從而向被控制端發送指令實現的手勢識別的交互控制模式，其技術方案如下：

一種基于體感交互設備的手勢識別控制器，其特征在于，包括：

體感交互端：包括手勢和體感交互設備，體感交互設備作為體感交互端的核心，連接到微型計算機，用于捕獲手勢信息，并將捕獲的手勢信息傳遞到微型計算機；

微型計算機：解析手勢信息，匹配手勢與可被被控制端識別的指令數據，將相應指令上傳到物聯網平臺，被控制端從物聯網平臺獲得指令，并執行指令；

手勢為裸手輸入手勢，手勢位于體感控制器可視區域。

在上述的一種基于體感交互設備的手勢識別控制器，手勢需位于體感交互設備的可視區域。

上述的一種基于體感交互設備的手勢識別控制器，所述體感交互設備通過雙紅外攝像頭捕捉手勢，通過對基于設備建立笛卡爾空間坐標系的算法建模，獲得手部的位置及其特征點相對位置、角度，特征向量和微小運動，同時可以探測到類似手指的實體，具體包括：

步驟1，在兩個紅外攝像頭上，以兩個攝像頭中點為原點，水平平行于兩個攝像頭的方向為x軸，水平垂直于兩個攝像頭的方向為z軸，垂直方向為y軸，構建一個三維空間，即一個笛卡爾空間坐標系，

步驟2，在空間坐標中，利用雙紅外成像的原理重建出手的三維空間運動信息，

步驟3，檢測并跟蹤手、手指和類似手指的工具，實時獲取他們的位置、方向，采集的基本單位是幀，獲取手腕位置以及，每只手和手指的手掌坐標、手掌法向向量、手方向向量(由手掌中心指向手指的方向向量)、手指長度、手指方向(指根到指尖的方向)、指尖坐標，

步驟4，對檢測到手部信息到手靜止時間段中，每一幀的同類數據的變化進行計算，得到手部的運動信息。

上述的一種基于體感交互設備的手勢識別控制器，體感交互設備與微型計算機相連，將獲取手部信息直接輸入計算機；計算機通過已編好的程序對輸入手部信息進行判讀，從而輸出相應的指令到物聯網平臺。